Чтобы страница не попала в поиск, поставьте в её коде метатег robots со значением noindex. Это работает и в Яндексе, и в Google. Для файлов вроде PDF используйте HTTP-заголовок X-Robots-Tag. Строка Disallow в robots.txt запрещает обход, но не гарантирует, что адрес не окажется в поиске по внешним ссылкам. Для служебных страниц обычно сочетают оба способа по очереди.
Какой способ выбрать
- Метатег noindex. meta name="robots" content="noindex" в head страницы. Подходит для страниц благодарности, результатов поиска по сайту, черновиков.
- X-Robots-Tag. Тот же запрет, но в заголовке ответа сервера. Нужен для PDF, документов и картинок, где нет HTML.
- Disallow в robots.txt. Запрещает роботу обходить раздел, например /personal/ или /basket/. Экономит обход, но страница может попасть в поиск по ссылкам.
- Clean-param для Яндекса. Если дубли появляются из-за параметров вроде ?utm_source или ?ref, директива Clean-param говорит роботу не учитывать их.
- Canonical. Для почти одинаковых страниц, например вариантов сортировки, лучше указать основную страницу через rel="canonical", а не закрывать.
Как правильно сочетать
Робот должен увидеть noindex, поэтому страницу с метатегом нельзя одновременно закрывать в robots.txt. Если страница уже в поиске, сначала ставят noindex и ждут, пока её переобойдут. Ускорить можно через «Удаление страниц из поиска» в Вебмастере.
Как проверить
Инструмент «Проверка ответа сервера» в Вебмастере показывает, видит ли робот noindex и не запрещён ли адрес в robots.txt. В Search Console то же покажет «Проверка URL».
Что обычно закрывают
Корзину, личный кабинет, оформление заказа, поиск по сайту, служебные фильтры без спроса, страницы печати. Не закрывайте страницы услуг и категорий из-за похожих текстов: лучше их переписать.
Синтаксис директив разобран в статье про robots.txt.
Источники
Похожие вопросы
Сайт есть, а заявок из поиска нет?
Проверим индексацию и техническое состояние сайта бесплатно и пришлём план работ.