Содержание · 9 разделов

01Подглядывание

Что делают

Запускают тест и каждый день смотрят на p-value. Как только он опустился ниже 0,05 — объявляют победу.

Живая демонстрация
Проверок за тест
26 %
ложных побед в A/A-тесте при 20 проверках — разницы между группами нет совсем
0 % · черта — α 5 %30 %
Каждая лишняя проверка — ещё один шанс поймать случайность. Числа — из «Последовательного теста».Условия: база 10 %, 500 посетителей в день на группу, 20 дней, α = 5 %, 5 000 A/A-тестов на каждое число проверок.
Открыть в «Последовательном тесте» →
Как правильно

Решите заранее, когда смотреть. Либо фиксированный срок и одна проверка в конце, либо последовательный тест с правилом остановки — групповые границы или простое правило.

02Остановка на первой значимости

Что делают

На шестой день тест показал значимость — его останавливают и выкатывают B.

Живая демонстрация
10,10,01порог 0,05д1д7д14д21д28день 6 · p = 0,04 → «победа»день 28 · p = 0,41
Кумулятивное p-value по дням теста, в котором настоящей разницы нет. На 6-й день оно опустилось до 0,04, к 28-му вернулось к 0,41. Ряд — иллюстрация.
Значимость «по дням» →
Как правильно

Значимость в середине теста — не результат. Дождитесь заранее рассчитанной выборки; если нужно останавливаться раньше — последовательный тест.

03Неполная неделя

Что делают

Запускают тест в понедельник и подводят итоги в пятницу — «и так всё видно».

Живая демонстрация
+9 %Пн
+8 %Вт
+7 %Ср
+6 %Чт
+8 %Пт
−10 %Сб
−12 %Вс
Прирост B к A по дням недели; красные со штриховкой — B проигрывает. Тест пн–пт показал бы +7,6 %, полная неделя — +2,3 %. Ряд — иллюстрация.
Длительность теста →
Как правильно

Держите тест целыми неделями — 7, 14 или 28 дней. Калькулятор длительности сам округляет срок до недель.

04Нечестное деление трафика (SRM)

Что делают

Смотрят только на конверсии и не проверяют, поровну ли поделился трафик.

Живая демонстрация
4·10⁻⁷
p-value проверки деления: 50 800 и 49 200 посетителей при плане 50/50
Перекос всего 0,8 п.п. (50,8 % вместо 50 %), но на 100 000 посетителей случайно такой почти не бывает (χ² = 25,6). Сломано деление трафика — результату верить нельзя.
Проверка SRM →
Как правильно

Проверяйте SRM в первые дни и в конце. При p < 0,001 ищите причину — редирект, кэш, боты, — а результат не используйте.

05Много метрик без поправки

Что делают

Смотрят 20 метрик и радуются той, что «прокрасилась».

Живая демонстрация
Метрик
64,2 %
шанс, что хотя бы одна из 20 метрик «прокрасится», когда эффекта нет нигде
0 % · черта — 5 %100 %
1 − 0,95^20 = 0,642.
Множественные сравнения →
Как правильно

Одна главная метрика — заранее. Для остальных — поправка на множественные сравнения (Холм или Бенджамини–Хохберг).

06Разбавление эффекта

Что делают

Меняют страницу оплаты, а в анализ берут всех, кто попал в тест, — даже тех, кто до оплаты не дошёл.

Живая демонстрация
Видят изменение
×4,7
во столько раз больше трафика нужно, если анализировать всех назначенных, а не только увидевших
База 2 %, эффект +15 % среди увидевших. Если изменение видят 20 %, на всех назначенных эффект размыт до +3,0 %.
Размер выборки с разбавлением →
Как правильно

Анализируйте только увидевших изменение — «триггерный анализ». Условие: «увидел» определяется одинаково в A и B.

07Маленький тест на маленький эффект

Что делают

Запускают тест на небольшом трафике «на месяц» и ждут, что найдут +5 %.

Живая демонстрация
+72 %
минимальный эффект, который такой тест вообще может заметить
≈ 143 посетителя в день, конверсия 2 %, 4 недели — по 2 000 на группу. Реальные улучшения обычно +2…+10 %: такой тест их не увидит.
Минимальный эффект →
Как правильно

Сначала посчитайте минимальный заметный эффект. Если он больше реалистичного — тестируйте более смелые изменения или не тестируйте вовсе.

08Значимо, но бесполезно

Что делают

Видят p < 0,05 и выкатывают, не глядя на размер эффекта.

Живая демонстрация
+0,3 %
прирост значим, p = 0,01, но интервал +0,07…+0,53 %
−1 %+3 %
Полоса — интервал эффекта, красная черта — порог пользы +2 %: меньше не окупает разработку. Весь интервал ниже порога.
Доверительный интервал →
Как правильно

Заранее решите, какой эффект окупает изменение, и сравнивайте с ним весь интервал, а не только p-value.

09Чек-лист

Перед запуском

Во время

После

Отмечено 0 из 15 · отметки не сохраняются и не печатаются

Идея — Evan Miller, «How Not To Run An A/B Test» (evanmiller.org). Текст, примеры и ошибки 3–8 — свои.

Частые вопросы

Столько, сколько нужно для заранее рассчитанной выборки, и не меньше полной недели. Срок округляйте до целых недель: поведение в будни и выходные заметно различается, и неполная неделя сдвигает результат. Считать срок стоит до запуска, а не тогда, когда надоело ждать.
Все разборы
A/B-тестирование: как провести тестСемь шагов от гипотезы до вывода, шаблон гипотезы, 12 частых ошибок и словарь8 минСколько ваших побед в A/B-тестах — ложныеПочему при α = 5 % ложна каждая третья победа: сетка 100 тестов, таблица и симуляция8 мин
seqПоследовательный тест/tools/ab-test/sequentialSRMПроверка SRM/tools/ab-test/srm×Множественные сравнения/tools/ab-test/multiple-comparisonsnРазмер выборки/tools/ab-test/sample-size