Главная / Технический аудит / Нет в sitemap, но разрешены для индексации

Нет в sitemap, но разрешены для индексации

Sitemap.xml - это карта сайта для поисковых роботов, которая находится в корне сайта и содержит рекомендации того, какие страницы необходимо обходить в первую очередь и с какой частотой. Это ускоряет и упрощает процесс индексации. Создание sitemap.xml не является обязательным правилом. Такая карта должна быть на сайтах, которые имеют большое количество страниц, и в тех случаях, когда контент на страницах часто обновляется.

Sitemap, как правило, формирует программное обеспечение сайта по всем страницам, которые на нем есть. Однако не все системы администрирования сайтов знают, какие страницы запрещены для индексирования директивами в robots.txt или другим способом, и поэтому в Sitemap попадают закрытые от индексации страницы, а также страницы, созданные, но не добавленные в меню и т. д. Эти ошибки приносят массу проблем с поисковыми системами.

Разные поисковые системы обрабатывают правила в sitemap по-разному. Например, Яндекс скорей всего проиндексирует все страницы, которые есть в sitemap. Google чаще всего индексирует только те страницы, до которых можно дойти краулером переходом по ссылкам на сайте с учетом всех правил. То есть Google использует sitemap только для определения частоты сканирования страниц, а Яндекс берёт из sitemap страницы для индексации. Это является одной из причин, почему число страниц в Яндекс и Google может отличаться.

Нет в sitemap, но разрешены для индексации

Содержание отчета:

Содержание отчета Нет в sitemap, но разрешены для индексации

  1. Адреса страниц.
  2. Код ответа страницы. Код 200 говорит об успешной обработке запроса (страница доступна).
  3. Количество входящих ссылок, ведущих на страницу.
  4. После нажатия кнопки "Скачать исправленный sitemap.xml" Labrika самостоятельно исправит все обнаруженные ошибки и сохранит правильную версию карты сайта на ваш компьютер.

Здесь отображаются страницы, которые разрешены для индексации, но отсутствуют в sitemap. Эта ошибка самая безобидная из всех. Тем не менее, наличие страницы в sitemap даёт возможность управлять краулинговым бюджетом. Краулинговый бюджет - это лимит страниц, который поисковый робот может просканировать за определенный период времени. Важно, чтобы он расходовался на приоритетные посадочные страницы. Для этого они должны быть прописаны в sitemap.

В случае появления данной ошибки добавьте нужные страницы в карту сайта, а также проверьте, включено ли её автоматическое обновление и все ли необходимые разделы обрабатываются при формировании sitemap.

Внимание! Отчёты по sitemap будут доступны в том случае, если было выставлено достаточно лимитов, чтобы просканировать весь сайт. Иначе Labrika только определит, какие страницы включены в карту сайта, но не сможет установить весь список существующих на сайте страниц и сравнить его с содержимым sitemap.