robots.txt и карта сайта — зачем они и как проверить

robots.txt — текстовый файл в корне сайта с правилами для поисковых роботов: что можно обходить, а что не нужно. sitemap.xml — карта сайта: список всех страниц, которые вы хотите видеть в поиске, с датой последнего изменения.

Что писать в robots.txt

Файл лежит по адресу вашсайт.ru/robots.txt и читается всеми роботами. Минимальный рабочий вид: разрешить всё, закрыть служебное, указать адрес карты сайта.

Закрывают обычно личный кабинет, корзину, страницы с параметрами поиска и технические адреса. Не закрывают то, что должно быть в поиске, — и здесь совершают самую дорогую ошибку: строка Disallow: / закрывает вообще весь сайт, и его страницы постепенно выпадают из индекса.

Зачем карта сайта

Робот и сам найдёт страницы по ссылкам, но карта ускоряет процесс и страхует от пропусков: особенно на новом сайте, где внешних ссылок ещё нет.

В карте указывают только страницы, которые должны быть в поиске: с кодом 200, без редиректов и не закрытые от индексации. Карта с битыми адресами вредит доверию к ней.

Дата изменения в карте — обещание. Если проставлять всем страницам сегодняшнее число при каждом запросе, робот быстро перестанет ей верить. Меняйте дату только вместе с содержимым.

Как проверить, что всё в порядке

Откройте оба файла в браузере: они должны открываться и выглядеть как текст, а не как страница с ошибкой. Дальше — панель вебмастера поисковика: там видно, какие страницы обошли, какие исключили и почему.

Полезная привычка: после любого изменения структуры сайта проверять, что новые адреса попали в карту, а удалённые — исчезли из неё.

Частые вопросы