Содержание · 6 разделов

01Парадокс: 5 % ошибок — а побед ложных треть

Команда проводит 40 тестов в год, проверяет их честно: α = 5 %, мощность 80 %. Кажется, что ошибается каждая двадцатая победа. На деле — каждая третья, если срабатывает только одна идея из десяти.

Меняйте числа — вывод пересчитается.

Живой расчёт · загружаетсяиз блока на хабе A/B-тестов
Открыть в инструменте с этими числами /tools/ab-test#fpr&alpha=5&power=80&prior=10&n=40
Расчёт · числа статьи
α = 5 % · мощность 80 % · работает 10 %
36 % побед — ложные

Из 40 тестов в год: ожидаемо побед ≈ 5,0, из них ложных ≈ 1,8.

Пересчитать со своими числами: https://bringer.ru/tools/ab-test#fpr&alpha=5&power=80&prior=10&n=40

02Откуда это: мало работающих идей

Возьмём 100 тестов. Работают 10 — тест ловит 8 из них. Не работают 90 — и среди них при α = 5 % всё равно «выиграют» случайно 4–5 тестов. На 8 настоящих побед приходится 4–5 ложных: неработающих идей в девять раз больше.

Работает и поймана8Работает, но пропущена2Ложная победа5Честно отклонена85
Рис. 1. α = 5 %, мощность 80 %, работает 10 % идей. Побед 13, из них 5 — случайность. Ложная победа — красная со штриховкой, видна и в ч/б.
Доля ложных = α · (1 − π)α · (1 − π) + (1 − β) · π
0,05 · 0,9 / (0,05 · 0,9 + 0,8 · 0,1) = 0,045 / 0,125 → 0,36

03От чего зависит доля

Сильнее всего — от доли работающих идей. Настройки теста помогают, но меньше:

Работает идей, πα 5 %, мощн. 80 %α 1 %мощн. 90 %
5 %54,3 %19,2 %51,4 %
10 %36,0 %10,1 %33,3 %
20 %20,0 %4,8 %18,2 %
30 %12,7 %2,8 %11,5 %
50 %5,9 %1,2 %5,3 %

Таблица 1. Строка π = 10 % — пример статьи.

04Проверим симуляцией

Формуле можно не верить — прогоним 1 000 тестов. У 100 из них эффект настоящий, у 900 его нет. Каждый тест проверяем с α = 5 % и мощностью 80 %.

Симуляция1 000 тестов в браузере
Прогнано тестов 0 из 1 000
Настоящие победы
0
Ложные победы
0
Пропущены
0
Честно отклонены
0

Прогон 1 000 тестов, 100 с настоящим эффектом, зерно 8: побед 118, из них ложных 44 — 37 %.

Каждый прогон — новое зерно случайности, поэтому доля гуляет вокруг 36 %. На печати — результат одного прогона.

05Что делать

  • Повторяйте тест победителей. Две победы подряд — ложных среди них около 3 %.
  • α = 1 %, когда трафика хватает. Выборка вырастет примерно в полтора раза, ложных побед станет втрое меньше.
  • Больше мощности. Выборку считайте заранее — калькулятор размера выборки.
  • Оцените π по журналу: π ≈ (доля побед среди всех тестов − α) / (мощность − α). При 13 % побед, α = 5 % и мощности 80 % это около 10 %.

06Посчитайте свою долю

Калькулятор на странице A/B-тестов откроется с числами из расчёта выше — подставьте свои α, мощность и число тестов.

Открыть в калькуляторе →

Идея — Evan Miller, «The Low Base Rate Problem» (evanmiller.org). Текст и расчёты — свои.

Частые вопросы

p-value — вероятность получить такой результат, если эффекта нет. Это не вероятность того, что эффект есть. Чтобы узнать второе, нужна ещё доля работающих идей: при одной работающей из десяти около трети всех побед окажутся случайными, хотя каждая из них честно прошла порог 0,05.
Все разборы
A/B-тестирование: как провести тестСемь шагов от гипотезы до вывода, шаблон гипотезы, 12 частых ошибок и словарь8 минКак не надо проводить A/B-тестВосемь ошибок с живыми демонстрациями и чек-лист для печати12 мин
A/BКалькулятор A/B-тестов/tools/ab-testsimСимулятор A/B-тестов/tools/ab-test/simulatornРазмер выборки/tools/ab-test/sample-sizeβБайесовский A/B-тест/tools/ab-test/bayesian