Типичные ошибки в A/B тестах #

Чего избегать при планировании и анализе экспериментов.

Peeking: подглядывание за результатами #

Ошибка: проверять результаты несколько раз во время эксперимента и останавливать тест, как только увидели значимый результат.

Почему это плохо: каждая проверка увеличивает вероятность ложноположительного результата. Если смотреть на p-value 10 раз, шанс случайно получить p < 0.05 намного выше 5%.

Как избежать: заранее определите размер выборки и дату окончания эксперимента. Проверяйте результаты только после завершения.

Недостаточный размер выборки #

Ошибка: запускать эксперимент без расчёта размера выборки и останавливать его слишком рано.

Почему это плохо: маленькая выборка не обнаружит реальный эффект (низкая статистическая мощность). Вы рискуете пропустить успешное изменение или, наоборот, внедрить неэффективное.

Как избежать: всегда рассчитывайте размер выборки до запуска. Используйте калькулятор с реалистичными ожиданиями эффекта.

Изменение гипотезы после результатов #

Ошибка: смотреть на результаты и менять ключевую метрику или интерпретацию, чтобы "найти успех".

Почему это плохо: это называется HARKing (Hypothesizing After Results are Known). Вы подгоняете выводы под данные, а не проверяете реальную гипотезу.

Как избежать: зафиксируйте ключевую метрику и критерии успеха до запуска. Анализируйте дополнительные метрики, но не меняйте главный критерий задним числом.

Игнорирование практической значимости #

Ошибка: останавливаться только на p-value и не смотреть на размер эффекта.

Почему это плохо: статистически значимое изменение на 0.01% бесполезно для бизнеса, даже если p < 0.001. Внедрение изменения требует ресурсов, которые не окупятся микроскопическим эффектом.

Как избежать: всегда оценивайте размер эффекта и доверительный интервал. Спросите себя: стоит ли этот эффект затраченных усилий?