Недоступные страницы – это страницы, при запросе которых на сайте в браузере не был получен ответ от сервера.
Ошибка «Веб страница недоступна (Internal server error)» может отображается, например, когда веб-страница не загружается правильно или если превышено время ожидания ответа. При просмотре веб-страниц используется протокол связи HTTP. Каждое HTTP-взаимодействие включает в себя запрос и ответ. Тайм-аут соединения с сервером означает, что сервер слишком долго не отвечает на запрос данных. Тайм-ауты не являются ответным сообщением: они появляются, когда нет ответа, и запрос не выполняется в течение заранее определенного периода времени.
Страницы сайта могут быть временно недоступны по различным причинам.
При медленной загрузке сайта после запроса клиента, а также при полном падении веб-ресурса или при недоступности отдельных страниц вы теряете трафик, потенциальные клиенты уходят на сайты конкурентов, снижается количество продаж и заказов, ухудшаются поведенческие факторы ранжирование и, как следствие, SEO показатели и позиции сайта в результатах поиска.
От доступности сайта и быстроты ответа сервера напрямую зависят. позиции в поисковой выдаче и индексация сайта. Долгое ожидание ответа от сервера затрудняет доступность сайта для поисковых роботов, он становится доступен только частично. Индексация таких ресурсов идет недостаточно глубоко и быстро - изменения или новые страницы могут индексироваться месяцами вместо дней или недель. Медленные сайты поисковая система не поместит на высокие позиции в выдаче. Если сайт не отвечает на запросы, то страницы могут быть удалены из поисковой выдачи.
Кроме того, частые перебои в работе сайта и ухудшение доступности его страниц могут быть сигналом наличия серьезных проблем — сломанного оборудования, атаки на сервер и т. д.
Чтобы избежать ухудшения позиций, оттока посетителей и снижения продаж, необходимо постоянно делать проверку работоспособности сайта, своевременно получать данные о недоступных страницах и устранять проблемы, которые стали причиной их появления.
Физически невозможно поминутно в ручном режиме перезагружать каждую страницу сайта, чтобы круглосуточно отслеживать его работу. Процесс такого мониторинга должен быть автоматизированным.
Сервис Labrika показывает страницы, в которых при обработке запроса не был получен ответ от сервера, в отчете «Недоступные страницы».
Также Labrika осуществляет:
Контроль за сроком действия доменных имен, показывая дату, до которой оплачен домен, в сводном отчете по техническому аудиту:
Проверку срока действия SSL-сертификата на веб-ресурсе и отображает дату завершения SSL в отчете «Безопасность»:
Тестирование доступности сайта из различных стран мира и с разных User-Agent (в отчете «Анализ доступности сайта»):
Согласно рекомендациям от команды качества поиска Google, для того чтобы недоступность сайта, вызванная техническими причинами, не оказывала отрицательного влияния на репутацию сайта, нужно ее должным образом обозначить. Лучше всего возвратить код статуса 503 (Service Unavailable / Сервис недоступен). Он сообщает поисковому роботу, что сервер временно не имеет возможности обрабатывать запросы по техническим причинам (обслуживание, перегрузка и прочее). Кроме того, в этом случае можно предоставить посетителям и ботам информацию о том, когда веб-сайт восстановит свою работу. Если известны продолжительность простоя в секундах или предположительные дата и время его окончания, то они могут быть указаны в поле заголовка Retry-After, которое Googlebot использует для определения подходящего момента переиндексации URL.
Пример ответа 503:
header('HTTP/1.1 503 Service Temporarily Unavailable'); header('Retry-After: Sat, 8 Oct 2011 18:27:00 GMT');
Хорошей практикой считается возвращать код состояния 503 (ошибка сервера), при недоступности сайта, закрытии на обслуживание или редизайн, перерасходе трафика или для страниц-заглушек. В случае недоступности следует изменить значение DNS сайта, чтобы он указывал на временный сервер, который возвращает ответ 503.
Тем не менее, важно не относиться к коду статуса 503 как к постоянному решению проблемы - продолжительная выдача 503 может рассматриваться как знак, что сервер стал постоянно недоступен, в результате чего он может быть удален из индекса Google.
На скриншоте ниже приводятся опубликованные в Twitter сообщения специалиста Google по поводу использования кода ответа 503 при недоступности сайта:
В справочнике Яндекса по кодам статуса http кроме этого рекомендуется код 429 (Слишком много запросов / Too Many Requests), который стоит применять, если сайт перегружен запросами. Он означает, что было отправлено слишком много запросов за короткое время. Это может указывать, например, на проведение DDoS-атаки. Если сделать код ответа 429, робот будет реже обходить страницы, чтобы снизить нагрузку на сайт. С помощью такого ответа можно избежать отключения сайта хостингом, этот метод позволит пережить без потерь более длительную недоступность. Ответ 429 может сопровождаться заголовком Retry-After, который указывает, через какое время можно повторить запрос, однако Яндекс не учитывает этот заголовок.
Пример http-кода 429:
HTTP/1.1 429 Too Many Requests Content-Type: text/html Retry-After: 3600
После восстановления работы сайта для проиндексированных страниц следует вернуть код ответа 200.
Читать дальше подобные статьи