Дублированный контент

Владелец магазина уверен, что у него 2 000 страниц. Краулер находит 11 000. Остальные девять тысяч оказываются копиями: та же категория с сортировкой, тот же товар в трёх разделах, версия для печати, адрес с utm-меткой. Каждая такая копия отнимает у основной страницы часть внимания поисковика.

Виды дублей

Чем опасны дубли

• Поисковик сам выбирает, какую копию показать, и может выбрать не ту.
• Ссылки и поведенческие сигналы делятся между копиями вместо того, чтобы усиливать одну страницу.
• Робот тратит краулинговый бюджет на мусор.
• Яндекс может исключить страницы как «дубли» или «малоценные», в том числе нужные.

Как найти дубли

1. Краулер: сортировка по одинаковым title, H1 и хешу контента.
2. Яндекс Вебмастер: исключённые страницы с причиной «Дубль».
3. Search Console: «Страница является копией, канонический вариант не выбран пользователем».
4. Проверка зеркал вручную: откройте сайт с www, без www, по http, с index.php на конце.

Типичные дубли на 1С-Битрикс

На сайтах на Битриксе и шаблонах Аспро чаще всего встречаются: страницы фильтра вида /filter/clear/apply/, которые повторяют категорию; адреса с /index.php; постраничная навигация с параметром PAGEN_1=1, повторяющая первую страницу; сортировки и режимы отображения каталога. На одном из недавних аудитов корпоративного сайта на Аспро мы нашли семь таких пар «категория: её фильтр» с одинаковыми title и закрыли фильтры от индексации в тот же день.

Отдельная история это переезд. При смене структуры каталога «Посуда Центр» мы следили, чтобы старые адреса не остались живыми копиями новых: на каждый стоял 301, а контент переносился без изменений. Кейс «Посуда Центр».

Внешние дубли и тексты

Если описания товаров скопированы у производителя, вы конкурируете за один и тот же текст с десятками магазинов. Поисковик покажет того, кто сильнее по другим сигналам. Уникальное описание хотя бы для ключевых товаров и категорий, одна из самых окупаемых работ в e-commerce. Для услуг правило то же: текст, переписанный с сайта конкурента, не даст преимущества.

План устранения дублей

1. Выгрузите все адреса краулером и найдите группы с одинаковыми title и H1.
2. Для каждой группы определите основной адрес: тот, что в меню и sitemap.
3. Решите, что делать с остальными: 301, если копия никому не нужна; canonical, если нужна людям; noindex для служебных страниц.
4. Исправьте внутренние ссылки, чтобы они вели только на основные адреса.
5. Через месяц проверьте в Вебмастере и Search Console, что копии ушли из индекса.

На большинстве сайтов 80% дублей дают 2–3 причины в шаблонах. Исправив их, вы убираете тысячи копий одной правкой.

Частые вопросы

«Дублируется блок “О компании” на всех страницах услуг это плохо?»: Небольшие повторяющиеся блоки нормальны, поисковик их распознаёт. Плохо, когда повторяющийся текст составляет большую часть страницы, а уникального содержания почти нет. «У нас версии сайта на русском и английском это дубли?»: Нет, если тексты переведены. Для таких сайтов используют атрибут hreflang, чтобы поисковик показывал нужную языковую версию.

Вопросы про дубли

Дубли находим в техническом аудите, а уникальные тексты для каталога пишем в услуге копирайтинга.

Источники

• Google Search Central: «Как объединить повторяющиеся URL»
• Яндекс Справка для вебмастера: «Дубли страниц»
• Кейс E.BAEV: «Посуда Центр»

См. также: Canonical, Уникальность текста, Краулинговый бюджет.