Попадание в поиск — это два шага: робот обходит страницу (сканирование) и включает её в базу (индексация). Сайт отсутствует в выдаче, если он застрял на первом шаге или отсеян на втором.
Как проверить индексацию
Наберите в поиске site:вашсайт.ru. Если страницы показываются, сайт в индексе, и дело в позициях по нужным запросам. Если не находится ничего, читайте причины ниже по порядку.
Восемь причин по частоте
- Прошло мало времени. Новому сайту на новом домене нужны недели. Ускоряет карта сайта, добавление в вебмастер и протокол IndexNow, которым сайт сам сообщает об изменениях.
- Индексация закрыта. Строка
Disallow: /в robots.txt или мета-тег noindex остались со времён разработки. - Страницы не связаны ссылками. Робот ходит по ссылкам: страница, на которую никто не ссылается, может остаться ненайденной.
- Сайт отвечает ошибкой или слишком медленно. Робот пробует несколько раз и уходит.
- Содержимое подгружается скриптом. Текст, который появляется только после выполнения JavaScript, индексируется хуже и позже, а иногда не индексируется совсем.
- Дубли. Одна и та же страница доступна с www и без, со слэшем и без, с метками в адресе. Поисковик выбирает одну версию, и не всегда ту, которую вы ждёте.
- Страница слишком пустая. Три строки текста и кнопка — робот видит страницу без содержания и не включает её в базу.
- Санкции. Редко, но бывает: за накрутку, скопированный текст или агрессивную рекламу. В вебмастере это написано прямым текстом.
Что сделать первым
Добавьте сайт в Яндекс Вебмастер и Google Search Console, это бесплатно. В обоих сервисах есть отчёт, где по каждой странице написано, обошёл её робот или нет и почему исключил.
Отправьте карту сайта, проверьте robots.txt и мета-теги. Убедитесь, что каждая важная страница открывается по ссылке с главной за два-три клика.
Если сайт в индексе
По вашим запросам есть страницы, которые поисковик считает более подходящими. Здесь работают содержание, соответствие запросу и поведение людей: открыли, прочитали, не вернулись обратно в выдачу через три секунды.
Посмотрите в вебмастере, какие запросы уже приводят к вам людей. Усильте те страницы, которые почти дотягивают до первой десятки.