robots.txt — текстовый файл в корне сайта с правилами для поисковых роботов: что можно обходить, а что не нужно. Карта сайта sitemap.xml перечисляет страницы, которые вы хотите видеть в поиске, с датой последнего изменения.
Что писать в robots.txt
Файл лежит по адресу вашсайт.ru/robots.txt и читается всеми роботами. Минимальный рабочий вид: разрешить всё, закрыть служебное, указать адрес карты сайта.
Закрывают личный кабинет, корзину, страницы с параметрами поиска и технические адреса. Строка Disallow: / закрывает от роботов весь сайт, и его страницы постепенно выпадают из индекса. Это самая дорогая ошибка в файле.
Зачем карта сайта
Робот находит страницы по ссылкам и без карты, но карта ускоряет обход и страхует от пропусков. Особенно на новом сайте, где внешних ссылок ещё нет.
В карту включают только страницы, которые должны быть в поиске: с кодом 200, без редиректов и не закрытые от индексации. Карта с битыми адресами снижает доверие к ней.
Дата изменения в карте — это обещание роботу. Если проставлять всем страницам сегодняшнее число при каждом запросе, робот перестанет ей верить. Меняйте дату вместе с содержимым страницы.
Как проверить
Откройте оба файла в браузере: вместо страницы с ошибкой должен открыться текст. Дальше зайдите в панель вебмастера поисковика: там видно, какие страницы обошли, какие исключили и почему.
После каждого изменения структуры сайта проверяйте карту: новые адреса должны появиться в ней, а удалённые — исчезнуть.