Index bloat

Index bloat (раздувание индекса) – это ситуация, когда в индекс поисковой системы попадает намного больше страниц сайта, чем на нём есть полезных: фильтры, сортировки, адреса с параметрами, дубли, пустые теги. Роботы тратят время на мусор, а важные страницы обходятся реже.

Пример на условных цифрах. В интернет-магазине 2 000 товаров и 150 категорий, а Яндекс Вебмастер показывает, что робот знает о 40 000 страниц. Владелец радуется: сайт большой. На деле 37 000 из них приходятся на сортировки по цене, сочетания фильтров и ссылки с UTM-метками. Ни одна из них не приведёт клиента, но каждую робот должен скачать и оценить.

Первым страдает краулинговый бюджет: робот обходит тысячи сортировок, а новый товар или изменённая цена попадают в поиск позже. Дальше появляются дубли. Две страницы с одинаковым содержимым конкурируют, и поисковик сам выбирает, какую показывать, не всегда ту, что нужна вам. А когда Яндекс исключает тысячи адресов со статусом «Малоценная или маловостребованная страница», в отчётах уже трудно отличить реальную проблему от шума.

Откуда берутся лишние страницы

• Фильтры и сортировки каталога. Каждое сочетание вида ?color=red&size=42&sort=price становится новым адресом.
• Служебные параметры: UTM-метки, идентификаторы рекламных кликов, метки партнёров.
• Страницы поиска по сайту, сравнения, корзины, версии для печати.
• Теги и архивы, где по одной записи, пустые категории без товаров.
• Технические дубли: со слешем и без, с index.php, с www и без, по http и https.

Чаще всего раздувание начинается не с ошибки SEO-специалиста, а с обычной доработки: программист добавил новый фильтр, и в каталоге за неделю появились десятки тысяч адресов.

Как найти раздувание по Вебмастеру, sitemap и логам

1. Сравните три числа: сколько страниц в sitemap.xml, сколько находит краулер вроде Screaming Frog и сколько адресов знает поисковик по данным Вебмастера и Search Console. Разница в разы означает, что пора разбираться.
2. Выгрузите список страниц в поиске и исключённых страниц. Отсортируйте адреса и найдите повторяющиеся шаблоны: параметры, папки, окончания.
3. Посмотрите статусы исключённых страниц в Вебмастере: «Дубль», «Неканонический», «Малоценная или маловостребованная». Массовые статусы указывают на источник мусора.
4. Проверьте логи сервера: на какие адреса роботы тратят больше всего запросов.

Удобно свести всё в таблицу по типам адресов. Например (данные условные):

Такая таблица сразу показывает, что чистить: сортировки и метки целиком, фильтры выборочно.

Canonical, noindex, 404 или SEO-фильтр: что выбрать для лишних адресов

Для каждого типа мусора свой инструмент, и смешивать их нужно аккуратно.

• Сортировки и адреса с метками ссылаются на основную страницу через атрибут canonical. Для Яндекса параметры дополнительно описывают директивой Clean-param в robots.txt.
• Страницы, нужные людям, но не поиску (корзина, поиск по сайту, сравнение), закрывают мета-тегом noindex.
• Пустые и бесполезные страницы удаляют, сервер отдаёт 404 или 410. Если у страницы были трафик или внешние ссылки, ставят 301 редирект на ближайшую по смыслу.
• Фильтры, по которым есть спрос («диваны угловые серые»), не закрывают, а превращают в SEO-фильтры с понятным адресом, своим заголовком и текстом.
• В sitemap.xml оставляют только канонические страницы с ответом 200.

Как при чистке индекса потерять трафик

• Закрыть все фильтры подряд вместе с теми, что приносили трафик.
• Указывать canonical на страницу, которая сама закрыта noindex или отдаёт редирект.
• Удалить тысячи страниц без проверки, есть ли на них переходы из поиска и ссылки.

По каким признакам видно, что чистка сработала

Результат видно не сразу: роботам нужно заново обойти адреса. Через несколько недель смотрите на такие признаки:

• Число страниц в поиске по данным Вебмастера и Search Console снижается и приближается к числу полезных страниц.
• В статистике обхода и в логах доля запросов к адресам с параметрами падает.
• Новые товары и статьи попадают в поиск быстрее, чем раньше.
• В списке исключённых страниц меньше дублей и неканонических адресов.

Одной чистки мало: новые фильтры и метки появляются постоянно, поэтому число страниц в индексе сверяйте хотя бы раз в месяц. Если оно снова растёт, ищите, какой шаблон адресов появился после последних доработок сайта.

Раздувание индекса находим и устраняем во время технического аудита сайта. Чистка индекса входит и в старт SEO-продвижения.

Маленькие сайты, фильтры и сроки после чистки индекса

Источники

• Справка Яндекс Вебмастера: почему страницы исключены из поиска
• Справка Яндекс Вебмастера: директива Clean-param
• Google Search Central: управление краулинговым бюджетом для крупных сайтов