A/B-тесты · РезультатПроверка SRM: перекос трафика

0 дн. · перекоса нет ни в один день

Sample ratio mismatch — расхождение фактического деления трафика с плановым. Если задумано 50/50, а пришло 50 800 и 49 200, разница выглядит мелкой, но при честном делении такое случается с вероятностью 4·10⁻⁷. Это признак технической ошибки: часть посетителей одной группы потерялась или засчиталась иначе. Проверяют критерием хи-квадрат: фактические числа против ожидаемых по плану.

Проверку делают на каждом тесте и часто каждый день. При пороге 0,05 ложной тревогой оказывался бы каждый двадцатый честный тест, и сигналу перестали бы верить. Порог 0,001 ловит настоящие сбои, а их p обычно намного меньше, и почти не ошибается. Между 0,001 и 0,01 калькулятор пишет «пограничный» — повод пройти чек-лист причин.

Чаще всего — редирект или медленная загрузка одного варианта: часть людей уходит раньше, чем аналитика их засчитала. Дальше идут кеш и CDN, боты, ошибка в назначении групп, фильтры отчёта, разное время включения вариантов, повторные визиты в другую группу и поломка варианта в одном браузере. Чек-лист на странице помогает пройтись по всем восьми.

Нет, пока не найдена причина. Перекос означает, что группы различаются не только версией страницы: например, в B не попали медленные телефоны, которые не дождались загрузки. Тогда разница в конверсии может быть следствием этого, а не изменения. Найдите и устраните причину, затем перезапустите тест; выкинуть «лишних» посетителей из большей группы не поможет.

Укажите плановые доли рядом с числами посетителей — в процентах или в любых единицах, калькулятор их нормирует. При плане 20/80 и 20 600 против 79 400 ожидалось 20 000 и 80 000; хи-квадрат равен 22,5, p = 2·10⁻⁶ — перекос. Отклонение всего три процента от ожидаемого, но на сотне тысяч посетителей случайностью оно быть не может.

Каждый день, особенно в первые дни теста: сбой назначения проще поймать рано, пока на него не потрачен весь трафик. Проверка перекоса — не подглядывание: она смотрит на число посетителей, а не на конверсию, и не влияет на вывод о победителе. Вставьте посетителей по дням — калькулятор отметит дни, в которые перекос начался.