Анализ доступности сайта
Анализ доступности сайта является одним из важнейших. Проблемы бывают редко, но когда они есть это может быть симптомом больших проблем, которые могут привести к полному выпадению сайта из результатов поиска. Также этот отчёт помогает найти признаки некоторых видов взлома на сайте и вирусов.
Отчёт содержит следующие разделы:
Варианты написания домена
Содержание отчета:
- Варианты написания URL-адреса сайта.
- Итоговый URL - это конечный URL-адрес, на который и пользователь, и краулер попадают после всех перенаправлений, при наличии редиректа (автоматического перенаправления пользователей и поисковых роботов с одного URL-адреса на другой).
- Код ответа сервера, в котором зашифрована информация о состоянии сайта. Всего существует 5 классов состояния: 1XX, 2XX, 3XX, 4XX и 5XX. Код 200 говорит об успешной обработке запроса (страница доступна).
- Размер контента данной страницы в байтах.
- При клике по кнопке «Посмотреть» открывается окно, в котором можно увидеть ответ, полученный в результате запроса страницы.
- Предупреждение, которое будет показано при наличии проблем.
В некоторых случаях переадресация происходит на разные конечные URL. Рекомендуется сделать, чтобы при любом варианте написания адреса сайта была переадресация только на один вариант.
В идеале сайт должен поддерживать протокол HTTPS и для всех вариантов запросов должна быть переадресация на единственный правильный вариант. Если сайт доступен по разным вариантам без переадресации, например, он открывается и как http://www.site.com и https://site.com, то может возникнуть множество проблем. Например, часть страниц сайта в индексе поисковой системы будет с www, а часть без www. В одной поисковой системе сайт будет находится с http://, а в другой – с https://. Чтобы такого хаоса не возникало необходимо правильно настроить склейку домена в файле .htaccess.
Тестирование доступности с User-Agent
User agent — это приложение, использующее определённый сетевой протокол. Термин обычно используется для приложений, осуществляющих доступ к веб-сайтам, таким как браузеры и поисковые роботы.
Содержание отчета:
- Название User-Agent.
- Результат проверки доступности сайта с данного User-Agent.
- Код ответа сервера на запрос. Код 200 говорит об успешной обработке запроса (страница доступна).
- Размер контента тестируемой страницы в байтах.
- При клике по кнопке «Посмотреть» открывается окно, в котором можно увидеть ответ, полученный в результате запроса страницы.
Если сайт блокирует доступ специально или выдаёт ошибку для одного из User-agent, то стоит разобраться с причиной – является ли это нормальным поведением и почему это происходит. В противном случае можно терять большую часть пользователей и потенциальных покупателей и даже не знать об этом.
Когда результат ответа для поисковой системы отличается от того, что выдаётся для обычных браузеров, это может быть признаком клоакинга на сайте. Если при этом разница будет существенной, то сайт с большой вероятностью будет понижен в результатах поиска за клоакинг, даже если это было сделано неумышленно или для благих целей. Необходимо провести анализ результатов.
Клоакинг — это попытка манипуляции поисковыми системами, когда информация, выдаваемая пользователю и поисковым роботам на одной и той же странице, различается. За использование клоакинга все поисковые системы понижают сайт в выдаче, вплоть до исключения. Причина может быть в неправильной настройке программного обеспечения или если сайт был взломан. Например, мы находили вредоносный код на сайте, который проставлял ссылки на другой сайт, и они были видны только поисковым системам. Таким образом злоумышленник получил ссылки на свой сайт и ему долго удавалось скрывать этот факт. А сайт всё это время был понижен в поиске за клоакинг.
При подозрении на наличие клоакинга необходимо открыть сохраненный результат этого запроса и сравнить с обычным состоянием страницы. Если вставлен вредоносный код, нужно обратится к специалистам для "лечения" сайта. Если это особенность программного обеспечения, следует найти причины такого поведения и исправить настройки.
Другой результат для браузеров мобильных устройств может быть, когда есть отдельная мобильная версия, либо если сайт был взломан и содержит вирус или переадресацию на вредоносный сайт. Второй вариант встречается редко, но наносит серьёзный ущерб позициям и репутации сайта. Поэтому если Вы знаете, что отдельной мобильной версии сайта нет, то стоит провести анализ результата. Откройте содержимое ответа сервера и проанализируйте – нет ли там майнеров, вредоносных скриптов или содержания. Хакеры часто используют этот способ взлома, так как он позволяет увеличить время до обнаружения проблемы, поскольку на мобильных устройствах обычно нет антивирусов и владельцы сайта проверяют мобильные версии не каждый день. Labrika находит таким образом следы взлома каждый месяц на десятках сайтов.
Тестирование доступности из разных стран
В отчёте показывается результат анализа доступности сайта с других стран.
Содержание отчета:
- Название страны.
- Результат проверки доступности сайта из данной страны.
- Код ответа сервера на запрос. Код 200 говорит об успешной обработке запроса (страница доступна).
- Размер контента тестируемой страницы в байтах.
- При клике по кнопке «Посмотреть» открывается окно, в котором можно увидеть ответ, полученный в результате запроса страницы.
Блокировку трафика из других стран иногда включают, чтобы избавится от угрозы во время DDOS-атаки, но если она включена постоянно, то это может привести к потере части трафика. Так как пользователи могут работать с сайтом в поездке или через прокси с этих стран.