Сколько должен идти A/B-тест: выборка и трафик → полные недели, дата окончания с праздниками РФ, бюджет трафика. Если срок нереальный — четыре способа его сократить с пересчётом, и обратная задача: какой эффект увидите за то время, что готовы ждать.
Цифры остаются в браузере и никуда не отправляются
Чтобы уложиться в 4 недели, нужно 2 621 посетителей в день — в 0,5 раза больше
03
Ослабить порог: α = 0,10
≈ 28 904 на группу → 2 недели. Ложных побед — до 10 %
04
CUPED по метрике до теста
При корреляции ρ = 0,5 выборка × 0,75 → 2 недели
02
Сколько готовы ждать — какой эффект увидите
Целое число недель, от 1 до 104
За 4 недели тест увидит эффект от +11 % (2,00 → 2,22 %)
Реалистичный порог для заметного изменения.
СрокЭффект отКонверсия B
1 нед.+22 %2,44 %
2 нед.+15 %2,31 %
3 нед.+12 %2,25 %
4 нед.+11 %2,22 %
6 нед.+9 %2,17 %
8 нед.+8 %2,15 %
12 нед.+6 %2,12 %
03
Примеры
04
Частые вопросы
Пока не наберётся рассчитанная заранее выборка, с округлением до полных недель и не меньше одной недели. Срок — это все посетители теста, делённые на трафик в день. Пример: конверсия 2 %, ожидаемый рост +15 % — нужно 36 693 посетителя на группу, 73 386 всего. При 5 000 посетителей в день это 14,7 дня, то есть 3 полные недели, а не 15 дней.
В будни и выходные люди ведут себя по-разному: в понедельник чаще изучают, в выходные чаще покупают, или наоборот. Если тест длится 10 дней, в нём три понедельника и два воскресенья — результат сдвигается в сторону тех дней, которых больше. Полные недели уравнивают дни, поэтому калькулятор всегда округляет срок вверх до целого числа недель.
Нет, если план не предусматривал промежуточных проверок. «Уже значимо» на пятый день — частая ловушка: при ежедневных проверках шанс случайно увидеть значимость растёт, и 20 проверок поднимают долю ложных побед с 5 до 24 %. Если смотреть по ходу необходимо, заранее закладывают последовательный анализ с более строгими порогами на каждой проверке.
Сократить срок одним из четырёх способов — калькулятор пересчитывает недели для каждого. При конверсии 2 % и 1 000 посетителях в неделю тест на +15 % займёт 74 недели. Искать эффект +30 % — 20 недель, ослабить порог до α = 0,10 — 58 недель, CUPED — 56 недель, а уложиться в 4 недели можно только с трафиком в 18 раз больше.
Меняют поведение и состав аудитории: в каникулы приходят другие люди с другими целями. Калькулятор отмечает праздники РФ в периоде теста по производственному календарю. Например, тест на две недели с 21 декабря захватывает новогодние каникулы. Такие тесты не останавливают, но проверяют, что обе группы попали на праздники одинаково, и не делают выводов по одним праздничным дням.
Главная статья — трафик: умножьте число посетителей теста на цену одного посетителя. Для кнопки с конверсией 2 % и ростом +15 % нужно 73 386 посетителей; при цене 12 ₽ за посетителя это около 880 000 ₽. Укажите цену в поле калькулятора — бюджет посчитается вместе со сроком. Если сумма велика, ищите эффект крупнее: выборка падает с квадратом эффекта.