Индексация сайта

Вы опубликовали статью, прошла неделя, а по точной цитате из неё сайт в поиске не находится. Значит, страницы нет в индексе. Пока её там нет, остальная работа над ней бесполезна: поисковик не может показать то, чего не знает.

Как работает индексация

1. Обнаружение. Робот узнаёт об адресе из ссылок, sitemap.xml или уведомлений вроде IndexNow.
2. Сканирование. Робот запрашивает страницу, смотрит robots.txt и код ответа.
3. Обработка. Поисковик разбирает контент, выбирает канонический адрес среди дублей, оценивает качество.
4. Включение в индекс. Страница попадает в базу и может показываться в выдаче. Или не попадает, если признана дублем или малоценной.

Как проверить индексацию

Оператор site: в Google даёт очень приблизительное число, для анализа он не подходит.

Почему страницы не индексируются

• Закрыты в robots.txt или мета-тегом noindex.
• Canonical указывает на другую страницу.
• Поисковик считает страницу дублем или малоценной: мало уникального текста, копия с другого сайта.
• На страницу нет ссылок, и её нет в sitemap.
• Сервер отвечает ошибкой или очень медленно, когда приходит робот.
• Контент грузится только через JavaScript, и робот видит пустую страницу.

Когда мы начинали работу с Aitech, первым пунктом SEO стали именно ошибки индексации: исправили их все и только потом занялись остальным. Кейс Aitech.

Как ускорить индексацию

• Отправить страницу на переобход в Яндекс Вебмастере и запросить индексирование в Search Console.
• Подключить IndexNow: Яндекс и Bing получат уведомление о новых адресах сразу.
• Поставить ссылку на новую страницу с главной или из популярного раздела.
• Держать sitemap.xml в актуальном состоянии.

Что смотреть в Вебмастере раз в неделю

Количество страниц в поиске и его динамику, раздел исключённых страниц с причинами и «Диагностику». Резкий скачок исключённых страниц почти всегда означает техническую проблему: сломался шаблон, поменялись адреса, в robots.txt попал лишний запрет. Чем раньше заметите, тем меньше потеряете.

Для новых сайтов важен первый месяц: добавьте сайт в Вебмастер и Search Console в день запуска, отправьте sitemap, подключите IndexNow и поставьте на сайт несколько ссылок с уже известных поисковикам ресурсов, карточки в справочниках, соцсети компании.

Индексация после крупных изменений

После редизайна, смены CMS или структуры каталога индексация, первое, за чем нужно следить. План на первый месяц: в день запуска отправить новый sitemap и проверить ключевые страницы в Вебмастере; в первые две недели ежедневно смотреть число страниц в поиске и исключённые страницы; через месяц сравнить количество проиндексированных страниц со старым сайтом. Если число резко упало, ищите причину в шаблонах: noindex, canonical, ошибки сервера, закрытые в robots.txt разделы.

Частые ошибки

• Тестовый сайт открыт для индексации и попал в поиск раньше основного.
• После запуска забыли снять запрет индексации.
• Важные страницы доступны только через фильтры или поиск по сайту.
• В индексе тысячи страниц фильтров, а новые товары не индексируются неделями.

Вопросы про индексацию

Индексацию разбираем в техническом аудите и SEO-аудите.

Источники

• Яндекс Справка для вебмастера: «Индексирование сайта»
• Google Search Central: «Как работает Google Поиск»
• IndexNow: документация протокола
• Кейс E.BAEV: Aitech

См. также: Robots.txt, Sitemap.xml, Коды ответов сервера.