Wiki · Техническая оптимизация
Xenu
Xenu (полное название Xenu's Link Sleuth) – это бесплатная программа для Windows, которая обходит сайт по ссылкам и находит битые ссылки, редиректы и недоступные файлы. Её написал Тильман Хаусхерр, последняя версия 1.3.8 вышла в сентябре 2010 года.
Программе больше пятнадцати лет, она не обновляется, а интерфейс у неё на английском и выглядит как из времён Windows XP. И всё же SEO-специалисты до сих пор держат её под рукой. Причина простая: за пару минут и бесплатно она отвечает на главный вопрос после переезда или редизайна: нет ли на сайте ссылок, которые ведут в никуда.
Что Xenu проверяет за один обход
- Проверяет ссылки, картинки, фреймы, файлы стилей и скриптов, в том числе по HTTPS.
- Показывает ответ сервера по каждому адресу и находит переадресации.
- Работает в несколько потоков, до 100 одновременно, и умеет повторно проверить адреса с временными ошибками.
- Строит карту сайта и ищет файлы-сироты, на которые нет ни одной ссылки, если дать ей доступ к файлам сайта.
- Собирает итоговый отчёт в HTML: битые ссылки сгруппированы по страницам, на которых они стоят.
Как запустить проверку и не уронить сайт
- Скачайте программу с официальной страницы автора. Сборки с посторонних сайтов лучше не брать.
- Выберите проверку адреса и введите главную страницу сайта.
- В настройках уменьшите число потоков. Сотня параллельных запросов способна положить сайт на виртуальном хостинге или включить защиту от ботов, и тогда вместо битых ссылок вы получите сотни ложных ошибок 403 и 429. Для обычного сайта хватит 5–10 потоков.
- Решите, проверять ли внешние ссылки. Для первого прохода их можно отключить, чтобы быстрее увидеть внутренние проблемы.
- Запустите обход, а после завершения согласитесь на отчёт.
Что делать с 404, редиректами и таймаутами из отчёта
| Что нашла программа | Что делать |
|---|---|
| Ошибка 404 | Исправить ссылку на рабочий адрес или убрать её. Если страница переехала, поставить редирект |
| Редирект 301 или 302 | Заменить ссылку на конечный адрес, чтобы робот не ходил через переадресацию |
| Ошибки 5xx | Разобраться с сервером: страница падает при обращении |
| Таймаут или нет соединения | Перепроверить позже с меньшим числом потоков |
Смотрите и на сам адрес, и на страницу, где стоит ссылка. Если одна битая ссылка встречается на тысяче страниц, она сидит в шапке, меню или подвале, и исправлять нужно шаблон, а не тысячу страниц. Что означает каждый ответ сервера, разобрано в статье Коды ответов сервера.
Почему битые ссылки появляются снова, особенно внешние
Отдельная история со ссылками на чужие сайты. В статьях блога и справочных разделах их со временем становится много, а сайты-источники меняют адреса и закрываются. Через пару лет заметная часть таких ссылок может вести на ошибку или на чужую заглушку с рекламой. Посетителю это неприятно, а для поисковика выглядит как заброшенный раздел. Проверяйте внешние ссылки отдельным проходом раз в несколько месяцев. Битую ссылку меняют на актуальный источник, а если замены нет, убирают.
Одной проверки после запуска сайта мало. Неработающие ссылки появляются постоянно: из каталога удаляют товары, внутри сайта переносят статьи, чужие сайты закрываются.
Чего Xenu не видит
- Не выполняет JavaScript. Ссылки, которые появляются только после работы скриптов, Xenu не увидит. Для сайтов, собранных в браузере, проверка будет неполной, подробнее в статье JavaScript SEO: CSR и SSR.
- Это проверка ссылок, а не SEO-аудит. Мета-теги, canonical, запреты индексации и дубли нужно смотреть другими инструментами.
- Не заполняет формы входа, закрытые разделы проверяет только после авторизации в браузере или ручной настройки.
- Работает только под Windows и с 2010 года не обновлялась.
Xenu или современный краулер: когда чего хватит
| Xenu | Современный краулер | |
|---|---|---|
| Цена | Бесплатно | Бесплатные версии с ограничениями или платная лицензия |
| JavaScript | Не выполняет | Многие умеют рендерить страницы |
| SEO-проверки | Только ссылки и ответы сервера | Мета-теги, canonical, hreflang, дубли, скорость |
| Обновления | С 2010 года нет | Регулярные |
Например, Screaming Frog SEO Spider в бесплатной версии обходит до 500 адресов за раз и уже показывает SEO-данные по каждой странице.
Для небольшого сайта на классической CMS, где страницы отдаются сервером готовыми, Xenu до сих пор нормальный инструмент быстрой проверки. Его удобно запускать после переноса контента, смены структуры или массовой правки ссылок в статьях. Для полноценного технического аудита, сайтов на JavaScript-фреймворках и больших каталогов берут современный краулер и данные из вебмастеров.
Установка Xenu, ложные тревоги в отчёте и замена программы
Где скачать Xenu, чтобы не получить вместе с ней лишнего?
Только на странице автора, Тильмана Хаусхерра: адрес есть в списке ниже. Программа бесплатная и не просит регистрации, так что сборки с торрентов и файлообменников ничего не добавляют, а посторонний код принести могут. Версий новее 1.3.8 не выходило, и файл с другим номером лучше не запускать.
Как запустить Xenu на Mac или Linux?
Официально никак: программа написана только под Windows. Её пробуют запускать через прослойку для Windows-приложений вроде Wine, но проще сразу взять кроссплатформенный краулер.
Почему Xenu помечает битой ссылку, которая в браузере открывается?
Чаще всего сервер защищается от частых запросов и отвечает программе кодом 403 или 429, а часть адресов не успевает ответить и уходит в таймауты. Снизьте число потоков до 5–10 и перепроверьте только адреса с ошибками. Разделы за авторизацией программа тоже покажет недоступными: вы в браузере вошли в аккаунт, а она нет.
Зачем Xenu, если Вебмастер тоже показывает битые ссылки?
Вебмастер сообщает о том, что нашёл робот Яндекса на уже обойдённых страницах, и делает это с задержкой. Xenu проходит сайт прямо сейчас и целиком, вместе со ссылками на чужие сайты, поэтому её запускают сразу после переезда или правок, не дожидаясь робота.
Что нужно Xenu, чтобы найти файлы-сироты?
Доступ к файлам сайта на сервере, обычно по FTP. Программа сверяет список файлов с адресами, которые нашла по ссылкам, и всё, на что никто не ссылается, относит к сиротам. На CMS страницы собираются из базы данных и отдельными файлами не лежат, поэтому так находятся в основном забытые картинки, PDF и старые HTML-файлы, а не страницы каталога.
Почему Xenu пропускает ссылки на сайте, собранном на React или Vue?
Программа читает только HTML, который отдал сервер, и скрипты не выполняет. Если меню, каталог или пагинация дорисовываются в браузере, для Xenu этих ссылок нет, и обход может закончиться на паре страниц. Такие сайты проверяют краулером с рендерингом, а заодно выясняют, видит ли эти ссылки поисковый робот: об этом статья про JavaScript SEO.
Чем заменить Xenu, если нужна проверка мета-тегов и canonical?
Современным краулером. Тот же Screaming Frog без оплаты пройдёт до 500 адресов и покажет title, description, H1, canonical, запреты индексации и дубли. Для больших сайтов покупают лицензию, а данные о том, что уже попало в индекс, добирают в Яндекс Вебмастере и Search Console.
Как часто проверять сайт на битые ссылки?
После каждого переезда, редизайна и массовой правки контента, а в спокойное время раз в один-два месяца. Интернет-магазину, где товары снимают с продажи каждую неделю, лучше чаще. Ссылки на чужие сайты из статей блога достаточно перепроверять раз в несколько месяцев.
Битые ссылки, редиректы и ошибки сервера мы ищем при техническом аудите и исправляем при доработке сайта.
Страница автора Xenu и описание Screaming Frog
- Официальная страница Xenu's Link Sleuth, автор Tilman Hausherr
- Screaming Frog: описание SEO Spider и ограничений бесплатной версии
См. также: Технический аудит сайта, Ошибка 404, 301 редирект, Страницы-сироты, Алиас.
Остались вопросы по теме «Xenu»?
Напишите нам в Telegram или MAX. Ответит специалист, который отвечает за эту тему, или руководитель проектов в рабочее время.
Отвечает по темеСергей ПимкинВедущий SEO-специалистНад статьёй работали
Услуги
Услуги по теме
Кейсы
Кейсы по теме
Маркетинг · Медицина, центр репродуктивной медицины
SEO-продвижение клиники «Три Сердца»
Посетителей в 5,5 раза большеНа январь 2025 года: 5 500 посетителей в неделю вместо 1 000, обращение стоит 60–70 ₽
Маркетинг · Медицина
SEO-продвижение медцентра «Медюнион»
10 000 обращений в месяц из интернета3 года работы, ноябрь 2018 – октябрь 2021: больше 1 000 фраз в ТОП-10 при цели 800
Тарифы
Тарифы по теме
Стартовый тариф для небольшого бизнеса: наводим порядок на сайте и получаем первые заявки из Яндекса и Google.
- Техническая оптимизация сайта
- Контентная оптимизация
- Семантическое ядро под город или регион
- Настройка Яндекс Вебмастера и Google Search Console
- Цели в Яндекс Метрике
- Ежемесячный отчёт по позициям, трафику и заявкам
- Оптимизация поведенческих факторов
- Оптимизация коммерческих факторов и E-A-T
Тариф для растущего бизнеса. Работаем на количество заявок: считаем звонки через коллтрекинг и дорабатываем сайт под конверсию.
- Техническая оптимизация сайта
- Контентная оптимизация
- Семантическое ядро под город или регион
- Настройка Яндекс Вебмастера и Google Search Console
- Цели в Яндекс Метрике
- Ежемесячный отчёт по позициям, трафику и заявкам
- Оптимизация поведенческих факторов
- Оптимизация коммерческих факторов и E-A-T
Для масштабирования бизнеса: SEO, A/B-тесты, карточки в Яндекс.Бизнесе и 2ГИС, техподдержка сайта. Нейросети берут на себя рутину, итог проверяют специалисты.
- Техническая оптимизация сайта
- Контентная оптимизация
- Семантическое ядро под город или регион
- Настройка Яндекс Вебмастера и Google Search Console
- Цели в Яндекс Метрике
- Ежемесячный отчёт по позициям, трафику и заявкам
- Оптимизация поведенческих факторов
- Оптимизация коммерческих факторов и E-A-T
Проверим ваш сайт бесплатно
Экспресс-аудит за 24 часа: скорость, индексация, мета-теги, коммерческие факторы и цели Метрики.