чем a/b-тест отличается от a/b/n и многовариантного

В A/B-тесте два варианта: контроль и одно изменение. A/B/n сравнивает с контролем сразу несколько вариантов, например три заголовка, — поэтому нужна поправка на множественные сравнения и больше трафика. Многовариантный тест, MVT, меняет несколько элементов одновременно и проверяет все сочетания: 2 заголовка × 2 картинки × 2 кнопки — это 8 групп. Он показывает взаимодействия, но требует очень много посетителей.

как сформулировать гипотезу a/b-теста

По шаблону «Если мы [изменение], то [метрика] вырастет на [величина], потому что [причина]». Например: если добавим отзывы на карточку товара, то конверсия в покупку вырастет на 10 %, потому что покупатели меньше сомневаются. Величина нужна для расчёта выборки, а причина — чтобы и проигравший тест чему-то научил. В гайде есть конструктор: заполните три поля и скопируйте фразу.

какую метрику выбрать для a/b-теста

Одну основную — по ней принимают решение. Она должна быть близка к деньгам, но достаточно частой: конверсия в покупку, а не выручка за год. Вспомогательные метрики объясняют, почему основная сдвинулась. Защитные, или guardrail, — скорость загрузки, отказы, возвраты, жалобы — не должны просесть, даже если основная выросла. Метрики фиксируют до старта: выбранная после — уже подгонка.

что такое a/a-тест и зачем он нужен

Это тест двух одинаковых версий. Разницы между ними нет, поэтому он проверяет саму систему: честно ли делится трафик и правильно ли считаются метрики. При уровне значимости 5 % «значимыми» должны выходить около 5 % таких тестов, а перекоса трафика не должно быть ни одного. Если ложных побед заметно больше, ошибка в делении групп или в подсчёте, и обычным тестам верить пока нельзя.

какие ошибки в a/b-тестах самые частые

Подглядывание и остановка на первой значимости: если проверять результат каждый день, ложных побед будет около 24 % вместо 5 %. Дальше — неполная неделя, перекос трафика, двадцать метрик без поправки и слишком маленький тест для маленького эффекта: +6 % при конверсии 2 % требует около 220 тысяч посетителей на группу. Все 12 ошибок с цифрами и ссылками на калькуляторы — в разделе выше.

A/B-тесты · ГайдA/B-тестирование: как провести тест

АБ тест, он же A/B-тест или сплит-тест, — эксперимент, в котором трафик делят на группы и сравнивают версии страницы. Здесь 7 шагов, шаблон гипотезы, 12 частых ошибок и словарь из 25 терминов — с калькуляторами внутри.

Цифры остаются в браузере и никуда не отправляются

01Что такое 027 шагов 0312 ошибок 04Словарь 05Инструменты 06Вопросы 07Похожие

Что такое A/B-тест

A/B

A/B-тест

Трафик случайно делится на две группы: A видит текущую версию, B — изменённую. Сравнивают одну метрику.

Пример: Кнопка «Купить» зелёная против красной.

A/B/n

A/B/n-тест

Несколько вариантов против одного контроля. Нужна поправка на множественные сравнения и больше трафика.

Пример: Три заголовка лендинга против текущего.

A/A

A/A-тест

Две одинаковые версии. Проверяет систему: деление трафика, метрики, частоту ложных побед — их должно быть около 5 %.

Пример: Перед первым тестом на новой платформе.

MVT

Многовариантный тест

Меняют сразу несколько элементов и проверяют все сочетания. Показывает взаимодействия, но требует очень много трафика.

Пример: 2 заголовка × 2 картинки × 2 кнопки = 8 вариантов.

Тест за 7 шагов

Гипотеза
Одна фраза: что меняем, какая метрика сдвинется и почему. Гипотеза без «потому что» — это не тест, а лотерея.
Если мытопотому что
Если мы добавим отзывы на карточку, то конверсия в покупку вырастет на 10 %, потому что покупатели меньше сомневаются.
Метрика
Одна основная — по ней решаем. Вспомогательные объясняют, почему она сдвинулась. «Защитные» — скорость, отказы, жалобы — не должны просесть, даже если основная выросла.
MDE и размер выборки
Какой минимальный рост стоит внедрения? Чем он меньше, тем больше посетителей нужно: вдвое меньший эффект — вчетверо больше трафика.
Конверсия, %
Рост, +%
Нужно на группу
36 693
α = 0,05 · мощность 80 % · двусторонняя
Размер выборки
Длительность
Выборка ÷ трафик, округлить вверх до полных недель и не меньше недели. Дату окончания назначьте до старта.
Запуск и SRM
В первый же день проверьте, что трафик делится как задумано. Перекос — признак технической ошибки, и результатам тогда верить нельзя.
Анализ
Только после запланированного срока. Смотрите на интервал прироста, а не только на p-value, и пройдите чек-лист «Можно ли верить тесту?».
Значимость
Решение и отчёт
Выкатить, отклонить или повторить с другой гипотезой. Запишите гипотезу, данные, вывод и оговорки — через полгода это сэкономит спор.
Отчёт эксперимента

12 частых ошибок

01Подглядывание

20 проверок вместо одной поднимают долю ложных побед с 5 до ~24 %.

02Остановка на первой значимости

«Стало значимо на 5-й день» — к концу теста прирост исчез. Выкатили шум.

Значимость

03Неполная неделя

Тест с понедельника по четверг: будни дают +8 %, выходные −3 %, итог смещён.

04Перекос трафика

50 800 / 49 200 при плане 50/50 — p = 4·10⁻⁷. Результату нельзя доверять.

05Много метрик без поправки

20 метрик — хотя бы одна «значимая» в 64 % тестов, даже если эффекта нет.

06Маленький тест на маленький эффект

+6 % при конверсии 2 % требует 220 000 на группу. На 80 000 результат — монетка.

Размер выборки

07Эффект новизны

+17 % в первую неделю и +2,5 % потом: реагировали на новое, а не на лучшее.

Значимость

08Сезонность и акции

Тест во время распродажи: другая аудитория и мотивация, вывод не переносится на обычные дни.

09Разные аудитории в группах

B показали только на мобильных — сравнили устройства, а не версии страницы.

10Изменение теста на ходу

Поправили вёрстку B на 10-й день — в одном тесте оказались две разные гипотезы.

11Среднее по выручке с выбросами

Один заказ на 500 000 ₽ решает исход теста. Нужна винзоризация или бутстрап.

12«Значимо, но бесполезно»

+0,3 % на миллионе посетителей значимо, но не окупает разработку. Смотрите на размер эффекта.

Словарь

25 терминов

A/B/n-тест: Несколько вариантов против одного контроля. Нужна поправка на множественные сравнения.
Многовариантный тест (MVT): Меняют несколько элементов сразу и сравнивают все сочетания. Требует очень много трафика.
Нулевая гипотеза: Предположение «версии не отличаются». Тест ищет данные, которые плохо с ним согласуются.
Уровень значимости α: Допустимая доля ложных побед, обычно 5 %. Порог, с которым сравнивают p-value.
Ошибка первого рода: Ложная победа: тест нашёл эффект, которого нет. Её частоту задаёт α.
Ошибка второго рода: Пропуск: эффект есть, а тест его не увидел. Её частота — 1 − мощность.
Стандартная ошибка: Насколько оценка «дрожит» от выборки к выборке. Уменьшается как 1/√n.
z-статистика: Разница, выраженная в стандартных ошибках. По модулю больше 1,96 — значимо при α = 0,05.
Эффект новизны: Временный всплеск интереса к новому. Прирост первой недели часто не держится.
Практическая значимость: Достаточно ли эффект велик, чтобы окупить изменение. Статистическая значимость этого не гарантирует.
Бутстрап: Повторная выборка из своих данных с возвращением. Даёт интервал без допущения о нормальности.
Дельта-метод: Способ посчитать дисперсию метрики-отношения, например среднего чека на заказ, на уровне пользователя.
Байесовский тест: Отвечает, какова вероятность, что B лучше A, и сколько можно потерять, выбрав его.
A/A-тест: Тест двух одинаковых версий. Проверяет, что деление трафика и метрики не врут: «значимых» различий должно быть около 5 %.
MDE: Минимальный эффект, который тест надёжно заметит при заданной мощности. Эффекты меньше тест пропустит.
p-value: Если бы версии не отличались, такую или большую разницу мы увидели бы в p·100 % случаев. Это не вероятность того, что B лучше.
Мощность: Вероятность заметить эффект, если он действительно есть. Обычно 80 %: каждый пятый настоящий эффект тест пропустит.
Доверительный интервал: Диапазон, где, скорее всего, лежит настоящий эффект. Если он захватывает ноль — разница не доказана.
SRM: Перекос трафика: группы получили не те доли, что задумано. Признак технической ошибки — результатам нельзя доверять.
Контроль: Текущая версия, с которой сравнивают варианты. Обозначается A.
Uplift: Относительный прирост метрики варианта к контролю: (p_B − p_A) / p_A.
Подглядывание: Смотреть на результат каждый день и остановиться на первой значимости. Ложных побед становится 20–30 % вместо 5 %.
CUPED: Поправка метрики на поведение пользователя до теста. Снижает шум и сокращает нужную выборку.
FDR: Доля ложных открытий среди всех «значимых» результатов. Поправка Бенджамини–Хохберга держит её под контролем.
Guardrail-метрика: «Защитная» метрика, которая не должна просесть: скорость, отказы, жалобы — даже если основная метрика выросла.

Чем проводить тест

Varioqub

Платформа экспериментов Яндекса: деление трафика, флаги и отчёты по метрикам Метрики.

Google Optimize

Закрыт в сентябре 2023 года. Упоминаем исторически: многие старые инструкции ссылаются на него.

Своя реализация

Флаги в коде и детерминированное деление по ID пользователя — например, по хешу ID. Метрики считайте здесь — данные не уходят из браузера.

Частые вопросы

A/B-тест, или сплит-тест, — эксперимент: посетителей случайно делят на группы, одна видит текущую версию страницы, другая — изменённую. Через заранее рассчитанный срок сравнивают одну метрику, например конверсию в покупку, и статистикой проверяют, не случайна ли разница. Случайное деление важно: только оно гарантирует, что группы отличаются лишь версией, а не аудиторией, временем или каналом.

Обновлено 31 октября 2026