Ошибки robots.txt

Файл robots.txt используется для частичного управления индексированием (чтения) сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться. Если нет файла robots.txt– значит по умолчанию поисковые системы для индексации читают все страницы сайта, ограничиваясь только мета-тегом robots непосредственно на самих страницах.

Содержание отчета

  1. Кнопка «обновить» - при нажатии на неё данные о наличии ошибок в файле robots.txt обновятся.
  2. Содержимое строк файла robots.txt.
  3. При наличии в какой-либо директиве ошибки Labrika дает её описание.