Калькулятор выборки для A/B-теста
Задайте базовую конверсию и минимальный эффект в удобной единице. Получите участников на вариант и готовый план; доступный трафик и окно набора можно указать отдельно.
Как пользоваться
Откуда берётся результат
Выбирайте MDE по бизнес-задаче до запуска. Чем меньше эффект относительно базы, тем больше нужен объём. MDE в этой форме задаётся в процентах относительно базы, а не в процентных пунктах.
Мощность 80% описывает способность плана обнаружить заданный эффект, если он существует. Она не означает 80% вероятности, что вариант победит, и не гарантирует значимый результат.
Метод двух долей соответствует нормальному приближению R power.prop.test с двусторонней альтернативой и strict=FALSE. Официальная документация: https://stat.ethz.ch/R-manual/R-devel/library/stats/html/power.prop.test.html. Численный контроль выполнен независимым решением уравнения мощности.
До начала зафиксируйте основную метрику, единицу рандомизации, исключения, объём и срок наблюдения. Для проверки результата уже проведённого теста нужен отдельный анализ.
Необязательное окно набора позволяет узнать нужный ежедневный трафик и сопоставить его с доступным. Это срок набора участников, а не полная длительность эксперимента: окно конверсии и бизнес-циклы учитываются при принятии плана отдельно.
- p₁ = базовая конверсия ÷ 100; p₂ = p₁ × (1 + MDE ÷ 100); p̄ = (p₁ + p₂) ÷ 2.
- n на вариант = округление вверх [(1,959964 × √(2p̄(1−p̄)) + 0,841621 × √(p₁(1−p₁)+p₂(1−p₂))) ÷ (p₂−p₁)]².
- Общий объём = 2n. Срок набора = округление вверх (2n ÷ доступные участники в сутки); при неизвестном или нулевом трафике срок не определяется.
- MDE можно задать относительным ростом в % либо абсолютной прибавкой в п.п. Абсолютный MDE переводится в относительный: прибавка в п.п. / базовая конверсия в % × 100. При базе 5% рост на 1 п.п. соответствует относительному MDE 20%.
Разобрать вымышленный учебный пример
Полностью вымышленный учебный пример: база 5%, относительный MDE 20% — различие между 5% и 6%. Нужно по 8 158 участников, всего 16 316. При 1 000 подходящих участников в сутки набор займёт примерно 17 дней без учёта дозревания конверсий.
Это полностью вымышленный пример для проверки логики, не клиентский кейс.
- Две независимые группы с распределением 1:1; единица рандомизации — участник. Один участник учитывается один раз, основная метрика — бинарное событие с одинаковым окном наблюдения.
- Двусторонний α = 0,05, мощность = 0,80. Нормальное приближение без поправки на непрерывность; для редких событий или малой выборки нужна отдельная проверка.
- Фиксированная выборка планируется до старта. Подглядывание и ранняя остановка при появлении значимости нарушают условия этого плана. Поправка на несколько метрик, гипотез или вариантов не включена.
- Оценка дней относится к набору участников. Она не учитывает задержки, дозревание конверсии, сезонность, полные недельные циклы или потери измерения.
Что учесть при использовании
MDE 20% — это прибавка 20 процентных пунктов?
В этой форме MDE относительный. При базовой конверсии 5% он задаёт цель 6%: 5 × 1,2. Абсолютная разница — 1 процентный пункт.
Почему нужен трафик на оба варианта?
Общий объём равен удвоенной выборке на вариант. Для оценки дней он делится на суммарное число новых подходящих участников в сутки, которые будут распределены поровну.
Можно завершить тест раньше, если результат уже значим?
Для этого плана объём фиксируется заранее. Регулярная проверка значимости с остановкой в удачный момент меняет вероятность ошибки. Для ранней остановки используют заранее выбранный последовательный метод.
По этой выборке получится определить победителя?
Это план до запуска. Для анализа результатов нужно дождаться полного окна конверсии и проверить фактические группы, распределение трафика, качество данных и выбранный статистический критерий.
Что входит в сохранённый план?
Вводные, единица MDE, целевая конверсия, объём на вариант и всего, распределение 1:1, уровень ошибки 5%, мощность 80%, условия набора и правило фиксированной выборки. Неуказанные гипотеза и метрика остаются незаполненными; калькулятор их не придумывает и не определяет победителя теста.
Следующий шаг
Проверить план эксперимента
Если объём не сходится с доступным трафиком, можно согласовать метрику, единицу рандомизации и правило остановки до расходования бюджета.