Клоакинг в SEO: что это и как исправить?

Клоакинг или маскировка (от англ. to cloak – маскировать или скрывать) — это попытка манипуляции поисковыми системами, когда информация, выдаваемая пользователю и поисковым роботам на одной и той же веб-странице, различается.

Какие бывают виды и способы маскировки?

Процесс клоакинга выполняется при помощи специальных скриптов на веб-сервере. Получив запрос, сервер запускает скрипт, который по ряду параметров определяет источник запроса - пользователь или робот. В зависимости от этого будет показан нужный вариант страницы.

Некоторые примеры маскировки:

• вставка текста или ключевых слов на страницу только в том случае, если пользовательский агент, запрашивающий страницу, является поисковой системой, а не посетителем;
• простановка ссылок на другой ресурс, которые видны только поисковым системам.

Текст (например, лишние ключевые слова) и ссылки можно скрыть несколькими способами, в том числе:

• использование белого текста на белом фоне;
• размещение текста за изображением;
• использование CSS для размещения текста за пределами экрана;
• установка размера шрифта на 0;
• скрытие ссылки путем связывания только одного маленького символа, например дефиса в середине абзаца.

Также выделяют различные типы клоакинга по параметрам источника запроса:

User-Agent маскировка

Пользовательский агент (User-Agent) - это программа, которая действует от имени пользователя. Термин обычно используется для приложений, осуществляющих доступ к веб-сайтам, таким как браузеры и поисковые роботы.

Когда вы вводите запрос, браузер отправляет на сервер код, который идентифицирует User-Agent. Скрипт маскировки распознает текстовую строку User-Agent, которая отправляется при запросе страницы. Если пользовательский агент идентифицирован как поисковый робот, используется предназначенный для него скрытый контент.

Маскировка на основе IP

Любой пользователь или робот обладает собственным индивидуальным IP-адресом в зависимости от местоположения и интернет-сервиса. Скрипт маскировки сверяет IP со своими данными о поисковиках. После этой проверки открывается соответствующая страница: пользователю – своя, роботу – своя.

JS маскировка

Она применяется, когда пользователям, у которых браузеры поддерживают JavaScript, предоставляется одна версия контента, а пользователям с отключенным JavaScript (в том числе поисковым системам) предоставляется другая версия веб-сайта.

Клоакинг по HTTP_REFERER

Проверяется заголовок HTTP_REFERER запрашивающей стороны. Если пользователь переходит с определенного веб-сайта (например, щелкает ссылку в результатах поиска или на веб-сайте), ему будет представлена другая версия сайта на основе значения заголовка HTTP_REFERER.

Маскировка по заголовку HTTP Accept-Language

Этот метод может использоваться для отображения различных версий веб-сайта в зависимости от языка веб-браузера пользователей (без предоставления возможности выбрать язык).

Проверяется заголовок HTTP Accept-Language пользователя, и на основе результата сопоставления представляется конкретная версия веб-сайта. Если HTTP-заголовок Accept-Language относится к поисковой системе, то будет представлена скрытая версия веб-сайта.

Почему важно проверить наличие маскировки?

За использование клоакинга все поисковые системы понижают сайт в выдаче, вплоть до исключения из индекса (базы данных).

Google считает клоакинг нарушением своих рекомендаций для веб-мастеров. Если какой-либо сайт включает код, который различает робота Google на основе пользовательского агента или IP-адреса, Google считает это маскировкой и может принять меры против сайта, занеся его в черный список. Когда сайт попадает в черный список Google, он не отображается в результатах поиска. Это может привести к потере дохода, трафика и репутации.

Кроме того, контент, не отвечающий ожиданиям пользователей, вызывает большое количество отказов и ухудшение поведенческих факторов, что отрицательно сказывается на ранжировании.

Причиной клоакинга может быть неправильная настройка программного обеспечения или взлом сайта. Хакер создает ключевые слова и ссылки на нужный ресурс в исходном коде взломанного сайта, а использование маскировки делает их невидимыми для владельца сайта, но доступными для бота поисковой системы. Это позволяет повысить рейтинг нужного сайта, манипулируя алгоритмами ранжирования. Поскольку маскировка остается невидимой для пользователя, во многих случаях она может присутствовать на сайте в течение длительного времени.

Например, вредоносный код использовался на сайте для простановки ссылок на другой ресурс, и они были видны только поисковым системам. Таким образом, злоумышленник получил ссылки на свой сайт, и ему долго удавалось скрывать этот факт. А взломанный ресурс всё это время был понижен в поиске за клоакинг.

На скриншоте ниже приведен пример скрытой ссылки на другой сайт, вставленной в HTML код страницы:

Как обнаружить клоакинг на сайте?

Можно проверить поисковую выдачу вручную. Для этого нужно ввести в строку поиска ключевые фразы, по которым ранжируется ваш сайт, и проанализировать полученные результаты. Если на первых позициях выдачи присутствуют страницы с другим нерелевантным содержанием, то вероятно ресурс был взломан.

Быстро найти маскировку поможет сервис Labrika. Наличие подозрения на клоакинг будет показано в отчете «Анализ доступности сайта».

Сервис осуществляет тестирование доступности с различных User-Agent:

Когда при тестировании результат ответа для поисковой системы отличается от того, что выдаётся для обычных браузеров, причина может быть в клоакинге на сайте. Если есть подозрение – то необходимо открыть сохраненный результат этого запроса и сравнить с обычным состоянием страницы.

Как исправить клоакинг?

Исправление клоакинга зависит от его причины. Если вставлен вредоносный код – нужно обратиться к специалистам для лечения сайта. Если это особенность программного обеспечения – следует найти и исправить причины такого поведения.

Поисковые системы настаивают на полном отказе от использования клоакинга. Необходимо сделать так, чтобы посетители сайта и роботы поисковых систем видели одинаковый контент.

В случаях, когда ваш сайт использует технологии, которые поисковым системам трудно распознавать (например, JavaScript), или содержит изображения, Google рекомендует создавать для данных элементов описательный текст. Это сделает такое содержимое доступным для поисковых систем и пользователей без маскировки. Тогда не только поисковые системы, но и многие посетители, использующие программы чтения с экрана, мобильные браузеры, браузеры без подключаемых модулей и медленные соединения, хоть и не смогут просматривать этот контент, но извлекут информацию из описательного текста.

Можно проверить доступность своего сайта, отключив JavaScript и изображения в своем браузере или используя текстовый браузер, такой как Lynx. Google дает следующие советы, как сделать сайт более доступным:

• Изображения: прописывайте альтернативное описание в атрибуте alt. Также рекомендуется сделать удобочитаемый заголовок и использовать описательный текст вокруг изображения.
• Видео: добавьте описательный текст о видео в HTML. Вы также можете рассмотреть возможность предоставления стенограмм.
• JavaScript: поместите содержимое из JavaScript в <noscript>тег. При использовании этого метода убедитесь, что содержимое точно такое же, как в JavaScript, и что этот контент показывается посетителям, у которых в браузере не включен JavaScript.