A/B-тестирование: что это и для чего используется

A/B-тестирование – это способ сравнить два варианта страницы, объявления или письма на реальных посетителях: одна половина трафика видит вариант A, другая вариант B, а победителя определяют по цифрам. Его ещё называют сплит-тестом.

Допустим, на посадочной странице строительной компании заголовок «Ремонт квартир под ключ». Маркетолог предлагает написать «Ремонт однокомнатной квартиры за 45 дней с фиксированной сметой». Звучит убедительнее, но это мнение. Если просто поменять заголовок и сравнить заявки с прошлым месяцем, на результат повлияют сезон, реклама и конкуренты. A/B-тест показывает обе версии в одно и то же время, поэтому разница в заявках говорит именно о заголовке.

Пять шагов A/B-теста

1. Смотрят текущие цифры страницы: конверсию, отказы, глубину просмотра. Без исходной точки сравнивать не с чем.
2. Формулируют гипотезу: что поменять и почему это должно сработать. Например, «конкретный срок в заголовке снимет страх затянутого ремонта».
3. Делают вариант B, в котором отличается только этот элемент.
4. Делят трафик поровну между A и B с помощью сервиса для экспериментов.
5. Ждут, пока наберётся достаточно данных, и проверяют, значима ли разница.

Минимальный срок теста 7 дней, а лучше две полные недели. Люди ведут себя по-разному в понедельник и в субботу, и неполная неделя искажает картину.

Как понять, что победитель настоящий

Самое коварное место в A/B-тесте. Разберём на условных цифрах, это пример, а не данные реального проекта.

Конверсии в обеих строках одинаковые, но в первом случае калькулятор значимости покажет, что такой разрыв мог получиться случайно примерно в 7 случаях из 100. Обычно победителя признают, когда эта вероятность ниже 5%. Во второй строке данных вдвое больше, и она падает примерно до 1%.

Отсюда практичное правило: чем меньше трафика и заявок на странице, тем крупнее должно быть изменение. Если страница собирает 20 заявок в месяц, тестировать оттенок кнопки бессмысленно: значимой разницы можно ждать месяцами. Тестируйте оффер, форму заявки, структуру первого экрана.

Тест без победителя не провал. Он тоже отвечает на вопрос: эта гипотеза не сработала, пора проверять следующую.

Правила честного теста

• Меняйте один элемент. Если одновременно переписать заголовок и переставить блоки, непонятно, что сработало.
• Запускайте варианты параллельно. Схема «неделю показываем A, следующую неделю B» не работает: за это время меняется спрос.
• Ведите на оба варианта одинаковый трафик. Если на A идёт реклама, а на B поиск, вы сравниваете каналы, а не страницы.
• Решите заранее, какую метрику сравниваете и сколько данных нужно. Сравнивайте заявки, а не клики по кнопке: кликов у варианта может стать больше, а заявок меньше. И не останавливайте тест в первый день, когда B вдруг вырвался вперёд.

Где брать гипотезы

Хорошая гипотеза вырастает из наблюдения, а не из спора о цвете кнопки. Источники обычно такие:

• Вебвизор, карты кликов и скроллинга в Метрике: где люди застревают, до какого блока доходят, что пытаются нажать.
• Вопросы, которые клиенты задают менеджерам по телефону. Если все спрашивают про сроки, сроков на странице не видно.
• Страницы конкурентов, которые давно держатся в рекламе: какие блоки и формулировки у них повторяются.
• Отчёт об аудите юзабилити со списком проблем страницы.

Что тестировать на странице

• Заголовок и УТП на первом экране: конкретика против общих слов.
• Призыв к действию: текст кнопки, её место и размер. Подробнее в статье про CTA.
• Форму заявки: число полей, телефон вместо имени и почты, квиз вместо формы.
• Подачу цены: полная стоимость или платёж в месяц при рассрочке, «от» или точная цена.
• Порядок блоков: что человек видит раньше, отзывы, гарантии или примеры работ.
• Изображения: фото товара или фото человека, который им пользуется.

Тот же подход работает за пределами сайта: в рекламе сравнивают объявления и креативы, в рассылках темы писем.

Сервисы для сплит-тестов и безопасность для поиска

В России чаще всего используют Varioqub, сервис экспериментов Яндекса, который работает вместе с Яндекс Метрикой. Из зарубежных известны Optimizely, AB Tasty, VWO и Kameleoon. Конструкторы лендингов вроде Unbounce и Leadpages умеют делить трафик между версиями страницы. Google Optimize закрыли в 2023 году, и старые инструкции с ним уже не актуальны.

Для поиска тест безопасен, если не прятать варианты от робота. Google советует ставить на копии страницы атрибут rel=canonical на оригинал, а для перенаправления на вариант использовать временный 302 редирект, а не 301.

Гипотезы для тестов ищем при UX/UI-аудите, а проверяем и внедряем при оптимизации юзабилити. Объявления и посадочные страницы тестируем при ведении контекстной рекламы.

Сроки, трафик и поиск: что уточнить перед запуском теста

Справка Varioqub и правила Google для тестов

• Справка Varioqub (Яндекс)
• Google Search Central: рекомендации по A/B-тестированию сайта и Google Поиску