Когда остановить эксперимент #

Правила завершения A/B тестов для надежных результатов.

Основное правило: набрать запланированную выборку #

Самый надежный способ завершить эксперимент — дождаться, пока наберется запланированный размер выборки (рассчитанный до запуска). Это гарантирует, что тест имеет достаточную статистическую мощность.

Если остановить раньше, даже при p < 0.05, результат может быть ненадежным. Случайные колебания на ранних этапах часто создают иллюзию эффекта, который исчезает при большей выборке.

Исключения: когда можно остановить раньше #

Критическая проблема: если эксперимент причиняет явный вред (падение ключевых метрик, технические ошибки, жалобы пользователей), остановите его немедленно. Безопасность важнее статистики.

Огромный эффект: если эффект настолько велик, что очевиден на малой выборке (например, конверсия выросла в 2 раза), можно остановить раньше. Но это должен быть действительно драматический результат.

Чего избегать #

Не останавливайте при первом p < 0.05. Это самая частая ошибка. Если проверять результаты каждый день и останавливать, как только p-value упадет ниже 0.05, вероятность ложного срабатывания резко возрастает.

Не продолжайте бесконечно. Если запланированная выборка набрана, а результат не значим — эксперимент провалился. Не продлевайте его в надежде "поймать" значимость, это нарушает статистическую корректность.

Продление эксперимента #

Продлевать эксперимент можно только в двух случаях:

1. Запланированная выборка не набрана из-за технических проблем или низкого трафика.
2. До запуска была договоренность о "последовательном тестировании" (Sequential Testing) — специальном методе, который корректирует p-value при множественных проверках.

Просто хотеть "увидеть больше данных" — не повод продлевать тест.