Аналитика · A/B-тестыКалькулятор A/B-тестов

Введите посетителей и конверсии обеих версий в блоке «Проверить результат». Если p-value меньше уровня значимости, обычно 0,05, и интервал прироста не захватывает ноль, разница значима. Пример: 1 600 покупок из 80 000 против 1 696 из 80 000 — это 2,00 % против 2,12 %, прирост +6 %, но p = 0,091, а интервал от −0,9 % до +13,4 %. Доказать эффект пока нельзя.

Зависит от базовой конверсии и от эффекта, который вы хотите заметить. При конверсии 2 % и приросте +15 % нужно 36 693 посетителя на группу при уровне значимости 0,05 и мощности 80 %. Если ждать только +6 %, понадобится уже 219 938 на группу: вдвое меньший эффект требует примерно вчетверо больше трафика. Посчитать для своих чисел можно в блоке «Спланировать тест».

Столько, сколько нужно, чтобы набрать выборку, но всегда полными неделями и не меньше одной: в будни и выходные люди ведут себя по-разному. Две группы по 36 693 — это 73 386 посетителей; при 5 000 в день выйдет 14,7 дня, округляем до 15 и до трёх полных недель. При 1 000 посетителей в неделю тот же тест займёт 74 недели — такой лучше переделать под больший эффект.

Это ответ на вопрос: как часто мы видели бы такую или ещё большую разницу, если бы версии на самом деле не отличались. p = 0,03 значит «в 3 % случаев». Чем меньше p, тем хуже случайность объясняет результат. Но p-value — не вероятность того, что B лучше A, и не размер эффекта: при миллионе посетителей значимым окажется и бесполезный прирост в 0,3 %.

Только по плану промежуточных проверок, составленному до старта, с более строгими границами для ранних проверок. Если смотреть на результат каждый день и остановиться на первой значимости, ложных побед будет около 24 % вместо обещанных 5 %: случайные колебания рано или поздно пересекают порог. В остальных случаях дождитесь рассчитанного срока и посмотрите на результат один раз.

Никуда: все расчёты идут в браузере, а посетители, конверсии и результаты на сервер не отправляются. Адрес страницы при вводе тоже не меняется, поэтому числа не попадают ни в историю браузера, ни в статистику посещений. Пересчёт мгновенный как раз поэтому: страница считает сама и не ждёт ответа сервера. Закрыли вкладку — введённое исчезло вместе с ней.