A/B-тесты · РезультатСравнение частоты событий
Тест Пуассона онлайн: сравните число событий за разное время — обращения, заказы, ошибки. Точный условный тест, отношение и разница частот с интервалами, проверка на пачки событий по дням.
Цифры остаются в браузере и никуда не отправляются
01
Расчёт
Подставить
Период / группаСобытийДлительность
A
B
Разница не доказана.
Событий в «После релиза» больше на 25 % (от −2 % до +60 %), точный p = 0,077.
Что делать дальше: Чтобы различить такую разницу с мощностью 80 %, наблюдайте ≈ 71 день в каждом периоде.
Частота · До релиза
4,00
в день · ДИ 3,32…4,78
Частота · После релиза
5,00
в день · ДИ 4,23…5,87
Отношение B / A
1,250
ДИ 0,977…1,603
Разница B − A
+1,00
в день · ДИ −0,07…+2,07
Точный p
0,077
условный биномиальный
z-тест
z = 1,822
p = 0,068 · приближённый
В ссылку попадут только числа и единица: названия групп и дни в неё не идут.
02
О теме
Частота, а не доля
Конверсия — доля людей с действием. Здесь считаем события: один клиент может написать в поддержку трижды.
Периоды разной длины
Тест сравнивает частоты в единицу времени, поэтому 30 и 14 дней сравнивать можно.
События должны быть независимы
Акции и сбои дают пачки событий. Режим «По дням» проверит разброс.
03
Проверить в Python / R
A/B-тестирование: как провести тестСемь шагов от гипотезы до вывода, шаблон гипотезы, 12 частых ошибок и словарь8 минСколько ваших побед в A/B-тестах — ложныеПочему при α = 5 % ложна каждая третья победа: сетка 100 тестов, таблица и симуляция8 минКак не надо проводить A/B-тестВосемь ошибок с живыми демонстрациями и чек-лист для печати12 мин
05
Частые вопросы
Обновлено