Недоступные страницы

Недоступные страницы – это страницы, при запросе которых не был получен ответ от сервера.

Ошибка «Страница не отвечает» может отображается, например, когда веб-страница не загружается правильно или если превышено время ожидания ответа. При просмотре веб-страниц используется протокол связи HTTP. Каждое HTTP-взаимодействие включает в себя запрос и ответ. Тайм-аут соединения с сервером означает, что сервер слишком долго не отвечает на запрос данных. Тайм-ауты не являются ответным сообщением: они появляются, когда нет ответа, и запрос не выполняется в течение заранее определенного периода времени.

Причины появления недоступных страниц

Страницы сайта могут перестать отвечать на запросы по различным причинам.

• Проблемы и неисправности на серверах, где размещается сайт, например, поломка оборудования, упавшая сеть, проведение технических работ, недостатки в логической организации хостинга.
• Перегрузка сервера из-за несоответствия тарифа хостинга нагрузкам на сайт. При большой посещаемости может оказаться недостаточно ширины канала или физической мощности сервера. Тогда сайт будет открываться очень долго и лишь частично показывать содержимое. Чаще всего это случается в часы пик, но может происходить и при активной индексации сайта поисковыми роботами.
• При виртуальном хостинге на общем сервере один из размещаемых веб-ресурсов может получать столько трафика, что в результате другие сайты будут испытывать проблемы с производительностью.
• Одной из причин перегрузки сервера запросами является DDoS-атака, когда хакер генерирует огромное количество одновременных спамных запросов к сайту. Чаще всего такие атаки заказывают конкуренты.
• Технические проблемы на сайте, такие как неоптимизированные скрипты, расположенная очень далеко, в другой стране база данных, наличие запутанных цепочек переадресаций, неверно настроенный файл .htaccess, позволяющий управлять работой веб-сервера и настройками сайта, присутствие на сайте вирусов, мешающих его функционированию, ошибка при написании кода, очень тяжелые страницы.
• Проблема долгого ожидания ответа от сервера часто свойственна медленным сайтам и может касаться как всего ресурса, так и лишь некоторых глубоко расположенных страниц. В этом случае скорость сайта напрямую влияет на его доступность. Медленные веб-страницы окажутся недоступны и для пользователей, которые не будут ждать в течение нескольких минут, пока сервер вашего сайта что-то ответ, и для поисковых роботов, которые не ждут ответа от сервера дольше 30 секунд.
• Не оплачены своевременно услуги хостинга, не продлено доменное имя или не обновлен SSL-сертификат.

Почему важно знать о недоступных страницах?

При медленной загрузке, а также при полном падении веб-ресурса или при недоступности отдельных страниц вы теряете трафик, потенциальные клиенты уходят на сайты конкурентов, снижается количество продаж и заказов, ухудшаются SEO показатели и позиции сайта в результатах поиска.

От доступности сайта и быстроты ответа сервера напрямую зависят. позиции в поисковой выдаче и индексация сайта. Долгое ожидание ответа от сервера затрудняет доступность сайта для поисковых роботов, он становится доступен только частично. Индексация таких ресурсов идет недостаточно глубоко и быстро - изменения или новые страницы могут индексироваться месяцами вместо дней или недель. Медленные сайты поисковая система не поместит на высокие позиции в выдаче. Если сайт не отвечает на запросы, то страницы могут быть удалены из поисковой выдачи.

Кроме того, частые перебои в работе сайта и ухудшение доступности его страниц могут быть сигналом наличия серьезных проблем — сломанного оборудования, атаки на сервер и т. д.

Чтобы избежать ухудшения позиций, оттока посетителей и снижения продаж, необходимо постоянно проверять работу сайта, своевременно получать данные о недоступных страницах и устранять проблемы, которые стали причиной их появления.

Как найти недоступные страницы

Физически невозможно поминутно в ручном режиме перезагружать каждую страницу сайта, чтобы круглосуточно отслеживать его работу. Процесс такого мониторинга должен быть автоматизированным.

Сервис Labrika показывает страницы, при запросе которых не был получен ответ от сервера, в отчете «Недоступные страницы».

Рекомендации Google

Согласно рекомендациям от команды качества поиска Google, для того чтобы недоступность сайта, вызванная техническими причинами, не оказывала отрицательного влияния на репутацию сайта, нужно ее должным образом обозначить. Лучше всего возвратить код статуса 503 (Service Unavailable / Сервис недоступен). Он сообщает поисковому роботу, что сервер временно не имеет возможности обрабатывать запросы по техническим причинам (обслуживание, перегрузка и прочее). Кроме того, в этом случае можно предоставить посетителям и ботам информацию о том, когда веб-сайт восстановит свою работу. Если известны продолжительность простоя в секундах или предположительные дата и время его окончания, то они могут быть указаны в поле заголовка Retry-After, которое Googlebot использует для определения подходящего момента переиндексации URL.

Пример ответа 503:

header('HTTP/1.1 503 Service Temporarily Unavailable');

header('Retry-After: Sat, 8 Oct 2011 18:27:00 GMT');

Хорошей практикой считается возвращать код состояния 503 для ошибок сервера, при недоступности сайта, закрытии на обслуживание или редизайн, перерасходе трафика или для страниц-заглушек. В случае недоступности следует изменить DNS сайта, чтобы он указывал на временный сервер, который возвращает ответ 503.

Тем не менее, важно не относиться к коду статуса 503 как к постоянному решению проблемы - продолжительная выдача 503 может рассматриваться как знак, что сервер стал постоянно недоступен, в результате чего он может быть удален из индекса Google.

На скриншоте ниже приводятся опубликованные в Twitter сообщения специалиста Google по поводу использования кода ответа 503 при недоступности сайта:

Рекомендации Яндекса

В справочнике Яндекса по кодам статуса http кроме этого рекомендуется код 429 (Слишком много запросов / Too Many Requests), который стоит применять, если сайт перегружен запросами. Он означает, что было отправлено слишком много запросов за короткое время. Это может указывать, например, на проведение DDoS-атаки. Если настроить код ответа 429, робот будет реже обходить страницы, чтобы снизить нагрузку на сайт. Такой ответ позволит избежать отключения сайта хостингом и пережить без потерь более длительную недоступность. Ответ 429 может сопровождаться заголовком Retry-After, который указывает, через какое время можно повторить запрос, однако Яндекс не учитывает этот заголовок.

Пример http-кода 429:

HTTP/1.1 429 Too Many Requests

Content-Type: text/html

Retry-After: 3600

После восстановления работы сайта для проиндексированных страниц следует вернуть код ответа 200.

Как исправить проблему?

• Свяжитесь с веб-хостингом, на котором размещен ваш сайт, и сообщите о своей проблеме.
• Убедитесь, что у вас есть свежая резервная копия сайта - при потере данных из-за выхода из строя оборудования хостинга нужно восстановить сайт из сохраненных резервных копий.
• Если вы обнаружите, что ваш сайт регулярно становится недоступным, возможно, вам следует перенести его на другой, более надежный и качественный хостинг.
• Например, скорость ответа сайта на запросы может зависеть от загруженности (сервера или канала) в связи с посещаемостью. Для решения данной проблемы вам необходим мониторинг времени ответа от сервера и загрузки канала.
• Возвращение таймаутов (превышение времени ожидания ответа сервера на запрос) может быть свидетельством того, что ваш сайт «перерос» купленный когда-то начальный пакет услуг хостинга, и сейчас для стабильной работы ему требуется больше ресурсов.
• При проблеме медленного сайта можно включить серверное кэширование или подключить кэширующее облако для сайта. Обычно это снимает проблему частичной недоступности сайта из-за большого времени ответа сервера.
• Причиной ошибки могут быть тяжелые страницы. Самым оптимальным решением проблемы в этом случае будет оптимизация и сокращение контента на странице. Подробнее об этом читайте в отдельной статье на Labrika.
• Если часто выпадают ошибки 50Х — скорее всего, дело в сайте или настройках сервера. В этом случае следует обращаться к разработчикам.
• Контролируйте срок действия сертификатов и доменов, вовремя осуществляя их продление. Labrika осуществляет контроль за сроком действия доменных имен, показывая дату, до которой оплачен домен, в сводном отчете по техническому аудиту. Также сервис проверяет срок действия SSL-сертификата на веб-ресурсе и отображает дату завершения SSL в отчете «Безопасность».