Таблица прогноза (Bayesian Forecast) #

Байесовская оценка вероятности успеха эксперимента при заданной целевой выборке.

Когда использовать прогноз #

Прогноз используется для ранней остановки активного эксперимента, когда бизнесу нужно быстрое решение.

Типичный сценарий #

Вы запланировали эксперимент на 3 недели (расчётный размер выборки). Но бизнес не может ждать так долго — нужно решение быстрее. Вы запускаете эксперимент на 1 неделю, собираете промежуточные данные и используете прогноз для оценки:

• Какова вероятность успеха, если довести эксперимент до конца?
• Стоит ли продолжать или уже можно принять решение?

Прогноз экстраполирует текущие данные на целевую выборку, показывая вероятности достижения значимого результата.

Когда прогноз особенно полезен #

• Тяжелые метрики: Требуют огромной выборки, ждать полного набора слишком долго
• Бизнес-давление: Нужно срочное решение для высокоприоритетного изменения
• Дорогие эксперименты: Риск или стоимость длительного проведения высоки

Важно: Прогноз — это компромисс между скоростью и надежностью. Он менее точен, чем полноценный A/B тест, но позволяет принять решение раньше.

Как работает байесовский прогноз #

Прогноз использует байесовский подход с априорными и постериорными распределениями.

Априорные распределения #

На основе текущих данных эксперимента система строит априорные (prior) распределения параметров метрик для каждой группы. Это начальная оценка того, как ведут себя метрики.

Чем дольше идёт эксперимент, тем точнее априорные распределения:

• После 1 дня → большая неопределённость, широкие распределения
• После 1 недели → средняя точность
• После 2 недель → высокая точность, узкие распределения

Постериорные распределения #

Система симулирует продолжение эксперимента до целевой выборки, обновляя априорные распределения в постериорные (posterior). На основе тысяч симуляций рассчитываются вероятности успеха.

Ключевая идея: Чем больше данных уже собрано, тем меньше неопределённость в прогнозе. Прогноз на основе 10% выборки менее надёжен, чем на основе 70% выборки.

Мета-информация #

В верхней части результатов показаны параметры прогноза:

Целевая выборка на вариант #

Количество пользователей в каждой группе, при котором вы планируете принять решение. Система экстраполирует текущие данные на эту выборку.

Альфа (α) #

Уровень значимости (обычно 5%). Используется для расчёта вероятности достижения статистической значимости.

Структура таблицы (A/B прогноз) #

Метрика #

Название метрики из загруженного файла.

Обработка #

Тип предобработки, применённый к метрике. Аналогично A/B тесту.

Эффект (Δ) #

Оценка среднего эффекта на основе текущих данных. Формат: абсолютное (относительное %).

Важно: Это не финальный результат, а экстраполяция на целевую выборку. Реальный эффект может отличаться.

CI Low / CI Up #

Байесовский доверительный интервал эффекта на целевой выборке. Показывает диапазон возможных значений эффекта с вероятностью 95%.

Интерпретация:

• Широкий интервал → высокая неопределенность
• Узкий интервал → более точная оценка

P(Δ>0) — Вероятность положительного эффекта #

Ключевая метрика прогноза. Показывает вероятность того, что эффект положительный (тестовый вариант лучше контроля).

Интерпретация:

• > 90% (зеленый) → высокая вероятность успеха
• 75-90% (желтый) → умеренная вероятность
• < 75% → низкая вероятность успеха

Пример:

• P(Δ>0) = 95% → в 95 из 100 сценариев тестовый вариант окажется лучше

P(α) — Вероятность достижения статистической значимости #

Вероятность того, что при целевой выборке эксперимент покажет p-value < α (обычно 0.05).

Интерпретация:

• > 80% → высокая вероятность получить значимый результат
• 50-80% → средняя вероятность
• < 50% → низкая вероятность значимости

Важно: Высокая P(α) не гарантирует успех, но показывает, что эксперимент имеет достаточную мощность.

Структура таблицы (A/B/C+ прогноз) #

Для множественных вариантов таблица группирует результаты по метрикам, показывая для каждого варианта:

Вариант #

Номер варианта. Вариант 0 — обычно контрольная группа.

P(Top) — Вероятность быть лучшим #

Уникальная колонка для множественных вариантов. Показывает вероятность того, что данный вариант окажется лучше всех остальных.

Интерпретация:

• Сумма P(Top) по всем вариантам = 100%
• Вариант с наибольшей P(Top) — наиболее перспективный кандидат

Пример:

• Variant 1: P(Top) = 78.3% → в 78 из 100 сценариев этот вариант лучший
• Variant 2: P(Top) = 9.2% → низкие шансы быть лучшим

Принятие решений на основе прогноза #

Когда досрочно останавливать эксперимент #

Сильный сигнал успеха:

• P(Δ>0) > 90% и P(α) > 80% → высокая вероятность успеха, можно останавливать и внедрять изменение
• Доверительный интервал узкий и не включает 0 → уверенность в положительном эффекте

Умеренный сигнал:

• P(Δ>0) = 75-90% и P(α) = 60-80% → есть перспектива, но лучше подождать ещё данных
• Решение зависит от бизнес-рисков и срочности

Слабый сигнал:

• P(Δ>0) < 75% или P(α) < 50% → низкая вероятность успеха, даже если довести до конца
• Можно досрочно останавливать и НЕ внедрять изменение

Когда продолжать эксперимент #

• P(Δ>0) = 50-75% → неопределённость слишком велика, нужно больше данных
• Доверительный интервал очень широкий → прогноз ненадёжен
• Текущая выборка < 30% от запланированной → слишком рано для прогноза

Для множественных вариантов #

• P(Top) > 70% у одного варианта → явный лидер, можно досрочно останавливать
• P(Top) = 30-70% у нескольких вариантов → нет явного победителя, лучше продолжить эксперимент
• Смотрите на размер эффекта, а не только на P(Top)

Ограничения прогноза #

Прогноз — это экстраполяция, а не гарантия. Он показывает вероятности на основе текущих данных, но может быть неточным, если:

1. Текущая выборка слишком мала (< 30% от запланированной) → высокая неопределенность, прогноз ненадёжен
2. Эффект нестабилен во времени → если метрика сильно колеблется день ото дня, экстраполяция будет неточной
3. Есть выбросы или аномалии в текущих данных → искажают оценку эффекта
4. Новизна эффекта → если изменение имеет краткосрочный эффект (например, новинка), прогноз переоценит долгосрочный результат

Золотое правило: Чем больше данных уже собрано, тем надёжнее прогноз. Если вы собрали 70% выборки, прогноз почти так же надёжен, как полный эксперимент. Если собрали 20% — прогноз приблизительный.

Рекомендация: Используйте прогноз как инструмент быстрого принятия решений, но помните — это компромисс между скоростью и надёжностью.

Частые ошибки #

Ошибка 1: Останавливать эксперимент слишком рано

Прогноз на основе 10-20% выборки крайне ненадёжен. Дайте эксперименту набрать хотя бы 30-40% запланированной выборки перед использованием прогноза.

Ошибка 2: Принимать решение только по P(Δ>0)

Даже если P(Δ>0) = 95%, смотрите на размер эффекта. Микроскопический эффект (+0.1%) с высокой вероятностью — не повод для досрочной остановки и внедрения.

Ошибка 3: Игнорировать доверительный интервал

Широкий CI означает высокую неопределенность. Если CI = [-2%, +10%], даже при P(Δ>0) = 70% реальный эффект может быть отрицательным. В таком случае лучше продолжить эксперимент.

Ошибка 4: Не учитывать нестабильность метрик

Если метрика сильно колеблется день ото дня (например, из-за сезонности или внешних факторов), прогноз будет неточным. Убедитесь, что эффект стабилен на протяжении нескольких дней.

Ошибка 5: Сравнивать прогноз с финальным результатом

Если вы всё же довели эксперимент до конца, не ожидайте, что результат совпадёт с прогнозом. Прогноз — это вероятностная оценка, а не точное предсказание.