что показывает расчёт по дням

Как менялись накопленный прирост и его интервал от первого дня до последнего. На вкладке «По дням» видно, в какой день результат впервые стал «значимым» и не пропала ли значимость к концу, — так выглядит ловушка подглядывания. Там же эффект новизны: в примере первая неделя дала +16,9 %, остальные три — +2,9 %. И дни с перекосом трафика, где деление групп сломалось.

односторонний или двусторонний тест выбрать

Двусторонний, если важно заметить и рост, и падение, — так почти всегда. Односторонний проверяет только одну сторону и честен, лишь если её выбрали до запуска. Выбор задним числом, когда уже видно, что B впереди, удваивает риск ложной победы: с 5 до 10 %. Калькулятор показывает обе цифры: для кнопки 2,00 % против 2,12 % двусторонний p = 0,091, односторонний — 0,046.

почему прирост +6 %, но результат не значим

Потому что тест слишком мал для такого эффекта. При конверсии 2 % и 80 000 посетителях на группу интервал прироста — от −0,9 % до +13,4 %: он захватывает ноль, и отсутствие эффекта не исключено. Чтобы с мощностью 80 % надёжно поймать +6 %, нужно около 220 000 посетителей на группу. Маленькие эффекты требуют очень большого трафика.

как сравнить больше двух вариантов

Каждый вариант сравнивают с контролем и поправляют p-value на число сравнений — по умолчанию методом Холма. Без поправки при двух сравнениях шанс случайной победы почти удваивается. Пример: три баннера с конверсией 2,0, 2,2 и 2,1 % по 40 000 показов — без поправки B «значим» (p = 0,049), с поправкой p = 0,097, победителя нет. Общий хи-квадрат отвечает, отличаются ли варианты вообще.

что делать, если конверсий мало

Когда в группе меньше 10 конверсий или ожидаемых значений меньше пяти, нормальное приближение z-теста ненадёжно. Калькулятор тогда сам переходит на точный тест Фишера и показывает плашку «мало данных». Пример: лендинг, 10 заявок из 200 против 22 из 200, — z-тест даёт p = 0,027, Фишер — 0,041. Вывод тот же, но интервал прироста широкий: от +7 % до +353 %.

A/B-тесты · РезультатСтатистическая значимость A/B-теста

Калькулятор статистической значимости: посетители и конверсии A и B (до 10 вариантов) → значим ли результат, интервал прироста, p-value и вывод для руководителя. Решение по шагам, код Python и R.

Цифры остаются в браузере и никуда не отправляются

01Данные 02Числа 03Графики 04Доверие 05Примеры 06Вопросы 07Похожие

α = 0,05 · мощность 80 % · двусторонняя проверка

Данные по дням · 28 дней · пример

5 октября 2026 — 1 ноября 2026 · дата · посетители A · конверсии A · посетители B · конверсии B

Динамика по дням

Накопленный прирост B к A по дням

Линия — прирост, полоса — 95 % интервал. Пока полоса пересекает ноль, разница не доказана.

День 5 (9 октября 2026) — «стало значимо». Остановив тест здесь, вы бы выкатили B с приростом, которого к концу теста не осталось.

Итог по всем дням: A 1 563 / 78 280 · B 1 652 / 77 750 → прирост +6,4 % [−0,6 %; +14,0 %], p = 0,075

Новизна и перекос

Эффект новизны

1-я неделя

+16,9 %

Дни 8–28

+2,9 %

Прирост упал в 5,9 раза: люди реагировали на новизну, а не на улучшение. Оценивайте без первой недели.

Прирост по дням недели

Пн+8 %

Вт+6 %

Ср+7 %

Чт+7 %

Пт+4 %

Сб+8 %

Вс+5 %

Перекос трафика по днямдней с перекосом: 2

ДатаABB / Ap

5 октПн2 8512 8510,0 %1

6 октВт3 0263 030+0,1 %0,96

7 октСр3 0883 081−0,2 %0,93

8 октЧт3 0063 004−0,1 %0,98

9 октПт2 7962 798+0,1 %0,98

10 октСб2 4572 462+0,2 %0,94

11 октВс2 3462 343−0,1 %0,97

12 октПн2 8512 8510,0 %1

13 октВт3 0263 030+0,1 %0,96

14 октСр3 0883 081−0,2 %0,93

15 октЧт3 0063 004−0,1 %0,98

16 октПт2 7962 518−9,9 %1,4·10⁻⁴перекос

17 октСб2 4572 216−9,8 %4,2·10⁻⁴перекос

18 октВс2 3462 343−0,1 %0,97

19 октПн2 8512 8510,0 %1

20 октВт3 0263 030+0,1 %0,96

21 октСр3 0883 081−0,2 %0,93

22 октЧт3 0063 004−0,1 %0,98

23 октПт2 7962 798+0,1 %0,98

24 октСб2 4572 462+0,2 %0,94

25 октВс2 3462 343−0,1 %0,97

26 октПн2 8512 8510,0 %1

27 октВт3 0263 030+0,1 %0,96

28 октСр3 0883 081−0,2 %0,93

29 октЧт3 0063 004−0,1 %0,98

30 октПт2 7962 798+0,1 %0,98

31 октСб2 4572 462+0,2 %0,94

1 нояВс2 3462 343−0,1 %0,97

Данные теста

ВариантПосетителиКонверсииКонверсия · ДИ 95 %

Aконтроль2,00 %1,91…2,10 %

Bвариант2,12 %2,02…2,22 %

Не доказано

Разница не доказана.

B может отличаться от A на величину от −0,9 % до +13,4 % — нулевой эффект не исключён. Чтобы надёжно (мощность 80 %) поймать эффект +6,0 %, нужно ≈ 220 000 посетителей на группу — у вас 80 000.

Проверка

При одностороннем тесте p = 0,046 — значимо.

Во многих калькуляторах, например ABTestGuide, по умолчанию стоит односторонняя проверка — поэтому там этот же тест может выйти «значимым».

В ссылку попадут числа посетителей и конверсий и настройки — делитесь ею осознанно.

A2,00 %

B2,12 %

интервал, где лежит настоящая конверсия

Что делать дальше

1Продолжайте до ≈ 220 000 на группу или меняйте гипотезу
2Тест не различит эффект меньше +10 % — для мелких правок нужен больший трафик
3Не выбирайте односторонний тест задним числом

Числа

B против A

Прирост конверсии

+6,0 %ДИ 95 %: −0,9 % … +13,4 %

uplift

Разница конверсий

+0,120 п. п.ДИ: −0,019 … +0,259 п. п.

Δ, п. п.

Вероятность случайности

0,091порог α = 0,05

p, двусторонний

Разница в стандартных ошибках

1,690граница значимости ±1,96

Стандартная ошибка разницы

0,00071для интервала, по раздельным долям

Нужно на группу для такого эффекта

219 938чтобы с мощностью 80 % поймать +6,0 %

Графики

Где могут лежать настоящие конверсии

Если B правее границы — разница значима

Конверсия AКонверсия Bзона значимости

Прирост к контролю

Интервал пересекает ноль — эффект не доказан

Можно ли верить тесту?

Доверие

пока высокое

Трафик поделился честно (SRM)авто

p = 1 при равном делении — перекоса нет.

Достаточно событийавто

Минимум 1 600 конверсий в группе — приближение работает.

Тест шёл полных недель?

Ответьте — от этого зависит доверие.

Останавливали, как только стало значимо?

Ответьте — это самая частая ошибка.

Смотрели больше одной метрики?

Ответьте, если смотрели несколько.

Размер теста рассчитали заранее?

Ответьте — это влияет на толкование «не значимо».

Ответьте ещё на 4 вопроса

Проверить в коде

from statsmodels.stats.proportion import proportions_ztest

z, p = proportions_ztest([1696, 1600], [80000, 80000])
print(round(z, 4), round(p, 4))  # 1.6897 0.0911

Отчёт эксперимента

Гипотеза, данные, вердикт, интервал и диагностика — для Confluence, Notion или печати.

Гипотеза · необязательноМетрика · необязательно

Разобранные примеры

Что видим · Кнопка «Купить»

Прирост +6 % выглядит убедительно, но интервал захватывает ноль: при двусторонней проверке p = 0,091. Тест слишком мал для такого эффекта — нужно ≈ 220 000 на группу. Односторонний тест дал бы p = 0,046, но выбирать его после того, как увидели данные, — подгонка.

Частые вопросы

Значимость показывает, можно ли объяснить разницу между A и B случайностью. Калькулятор считает p-value: если бы версии не отличались, с какой частотой получилась бы такая же или большая разница. Если p меньше выбранного порога α, обычно 0,05, разницу называют статистически значимой. Значимость не говорит о размере эффекта — для этого смотрят интервал прироста.

Обновлено 31 октября 2026