Главная / Технический аудит / Есть в sitemap, но закрыты от индексации

Есть в sitemap, но закрыты от индексации

Sitemap.xml - это карта сайта для поисковых роботов, которая находится в корне сайта и содержит рекомендации того, какие страницы необходимо обходить в первую очередь и с какой частотой. Это ускоряет и упрощает процесс индексации. Создание sitemap.xml не является обязательным правилом. Такая карта должна быть на сайтах, которые имеют большое количество страниц, и в тех случаях, когда контент на страницах часто обновляется.

Sitemap, как правило, формирует программное обеспечение сайта по всем страницам, которые на нем есть. Однако не все системы администрирования сайтов знают, какие страницы запрещены для индексирования директивами в robots.txt или другим способом, и поэтому в Sitemap попадают закрытые от индексации страницы, а также страницы, созданные, но не добавленные в меню и т. д. Эти ошибки приносят массу проблем с поисковыми системами.

Разные поисковые системы обрабатывают правила в sitemap по-разному. Например, Яндекс скорей всего проиндексирует все страницы, которые есть в sitemap. Google чаще всего индексирует только те страницы, до которых можно дойти краулером переходом по ссылкам на сайте с учетом всех правил. То есть Google использует sitemap только для определения частоты сканирования страниц, а Яндекс берёт из sitemap страницы для индексации. Это является одной из причин, почему число страниц в Яндекс и Google может отличаться.

Есть в sitemap, но закрыты от индексации

Здесь отображаются страницы, которые запрещены для индексации, но есть в sitemap.

То есть страницы по каким-то причинам закрыли от индексации, но не убрали из sitemap.

Это может привести к утечке конфиденциальной информации, появлению закрытых от индексации дублей страниц в индексе поисковых систем (+снижение позиций из-за этого) или потере краулингового бюджета в Яндексе. Google, как правило, не индексирует такие страницы. Их следует удалить из карты сайта. Если же по ошибке оказалась закрыта от индексирования страница, которая должна попасть в результаты поиска, необходимо снять блокировку индексации.