Таблица прогноза (Bayesian Forecast)
Байесовская оценка вероятности успеха эксперимента при заданной целевой выборке.
Когда использовать прогноз
Прогноз используется для ранней остановки активного эксперимента, когда бизнесу нужно быстрое решение.
Типичный сценарий
Вы запланировали эксперимент на 3 недели (расчётный размер выборки). Но бизнес не может ждать так долго — нужно решение быстрее. Вы запускаете эксперимент на 1 неделю, собираете промежуточные данные и используете прогноз для оценки:
- Какова вероятность успеха, если довести эксперимент до конца?
- Стоит ли продолжать или уже можно принять решение?
Прогноз экстраполирует текущие данные на целевую выборку, показывая вероятности достижения значимого результата.
Когда прогноз особенно полезен
- Тяжелые метрики: Требуют огромной выборки, ждать полного набора слишком долго
- Бизнес-давление: Нужно срочное решение для высокоприоритетного изменения
- Дорогие эксперименты: Риск или стоимость длительного проведения высоки
Важно: Прогноз — это компромисс между скоростью и надежностью. Он менее точен, чем полноценный A/B тест, но позволяет принять решение раньше.
Как работает байесовский прогноз
Прогноз использует байесовский подход с априорными и постериорными распределениями.
Априорные распределения
На основе текущих данных эксперимента система строит априорные (prior) распределения параметров метрик для каждой группы. Это начальная оценка того, как ведут себя метрики.
Чем дольше идёт эксперимент, тем точнее априорные распределения:
- После 1 дня → большая неопределённость, широкие распределения
- После 1 недели → средняя точность
- После 2 недель → высокая точность, узкие распределения
Постериорные распределения
Система симулирует продолжение эксперимента до целевой выборки, обновляя априорные распределения в постериорные (posterior). На основе тысяч симуляций рассчитываются вероятности успеха.
Ключевая идея: Чем больше данных уже собрано, тем меньше неопределённость в прогнозе. Прогноз на основе 10% выборки менее надёжен, чем на основе 70% выборки.
Мета-информация
В верхней части результатов показаны параметры прогноза:
Целевая выборка на вариант
Количество пользователей в каждой группе, при котором вы планируете принять решение. Система экстраполирует текущие данные на эту выборку.
Альфа (α)
Уровень значимости (обычно 5%). Используется для расчёта вероятности достижения статистической значимости.
Структура таблицы (A/B прогноз)
| Метрика | Обработка | Эффект (Δ) | CI Low | CI Up | P(Δ>0) | P(α) |
|---|---|---|---|---|---|---|
| purchase_conversion | — | 1.50 ( +15.00% ) | 0.80 | 2.20 | 92.3% | 87.5% |
Метрика
Название метрики из загруженного файла.
Обработка
Тип предобработки, применённый к метрике. Аналогично A/B тесту.
Эффект (Δ)
Оценка среднего эффекта на основе текущих данных. Формат: абсолютное (относительное %).
Важно: Это не финальный результат, а экстраполяция на целевую выборку. Реальный эффект может отличаться.
CI Low / CI Up
Байесовский доверительный интервал эффекта на целевой выборке. Показывает диапазон возможных значений эффекта с вероятностью 95%.
Интерпретация:
- Широкий интервал → высокая неопределенность
- Узкий интервал → более точная оценка
P(Δ>0) — Вероятность положительного эффекта
Ключевая метрика прогноза. Показывает вероятность того, что эффект положительный (тестовый вариант лучше контроля).
Интерпретация:
- > 90% (зеленый) → высокая вероятность успеха
- 75-90% (желтый) → умеренная вероятность
- < 75% → низкая вероятность успеха
Пример:
- P(Δ>0) = 95% → в 95 из 100 сценариев тестовый вариант окажется лучше
P(α) — Вероятность достижения статистической значимости
Вероятность того, что при целевой выборке эксперимент покажет p-value < α (обычно 0.05).
Интерпретация:
- > 80% → высокая вероятность получить значимый результат
- 50-80% → средняя вероятность
- < 50% → низкая вероятность значимости
Важно: Высокая P(α) не гарантирует успех, но показывает, что эксперимент имеет достаточную мощность.
Структура таблицы (A/B/C+ прогноз)
Для множественных вариантов таблица группирует результаты по метрикам, показывая для каждого варианта:
| Вариант | Эффект (Δ) | CI Low | CI Up | P(Δ>0) | P(α) | P(Top) |
|---|---|---|---|---|---|---|
| 0 (Control) | — | — | — | — | — | 12.5% |
| 1 | +1.80 ( +18.00% ) | +0.90 | +2.70 | 95.3% | 89.2% | 78.3% |
| 2 | +0.50 ( +5.00% ) | -0.20 | +1.20 | 68.5% | 42.1% | 9.2% |
Вариант
Номер варианта. Вариант 0 — обычно контрольная группа.
P(Top) — Вероятность быть лучшим
Уникальная колонка для множественных вариантов. Показывает вероятность того, что данный вариант окажется лучше всех остальных.
Интерпретация:
- Сумма P(Top) по всем вариантам = 100%
- Вариант с наибольшей P(Top) — наиболее перспективный кандидат
Пример:
- Variant 1: P(Top) = 78.3% → в 78 из 100 сценариев этот вариант лучший
- Variant 2: P(Top) = 9.2% → низкие шансы быть лучшим
Принятие решений на основе прогноза
Когда досрочно останавливать эксперимент
Сильный сигнал успеха:
- P(Δ>0) > 90% и P(α) > 80% → высокая вероятность успеха, можно останавливать и внедрять изменение
- Доверительный интервал узкий и не включает 0 → уверенность в положительном эффекте
Умеренный сигнал:
- P(Δ>0) = 75-90% и P(α) = 60-80% → есть перспектива, но лучше подождать ещё данных
- Решение зависит от бизнес-рисков и срочности
Слабый сигнал:
- P(Δ>0) < 75% или P(α) < 50% → низкая вероятность успеха, даже если довести до конца
- Можно досрочно останавливать и НЕ внедрять изменение
Когда продолжать эксперимент
- P(Δ>0) = 50-75% → неопределённость слишком велика, нужно больше данных
- Доверительный интервал очень широкий → прогноз ненадёжен
- Текущая выборка < 30% от запланированной → слишком рано для прогноза
Для множественных вариантов
- P(Top) > 70% у одного варианта → явный лидер, можно досрочно останавливать
- P(Top) = 30-70% у нескольких вариантов → нет явного победителя, лучше продолжить эксперимент
- Смотрите на размер эффекта, а не только на P(Top)
Ограничения прогноза
Прогноз — это экстраполяция, а не гарантия. Он показывает вероятности на основе текущих данных, но может быть неточным, если:
- Текущая выборка слишком мала (< 30% от запланированной) → высокая неопределенность, прогноз ненадёжен
- Эффект нестабилен во времени → если метрика сильно колеблется день ото дня, экстраполяция будет неточной
- Есть выбросы или аномалии в текущих данных → искажают оценку эффекта
- Новизна эффекта → если изменение имеет краткосрочный эффект (например, новинка), прогноз переоценит долгосрочный результат
Золотое правило: Чем больше данных уже собрано, тем надёжнее прогноз. Если вы собрали 70% выборки, прогноз почти так же надёжен, как полный эксперимент. Если собрали 20% — прогноз приблизительный.
Рекомендация: Используйте прогноз как инструмент быстрого принятия решений, но помните — это компромисс между скоростью и надёжностью.
Частые ошибки
Ошибка 1: Останавливать эксперимент слишком рано
Прогноз на основе 10-20% выборки крайне ненадёжен. Дайте эксперименту набрать хотя бы 30-40% запланированной выборки перед использованием прогноза.
Ошибка 2: Принимать решение только по P(Δ>0)
Даже если P(Δ>0) = 95%, смотрите на размер эффекта. Микроскопический эффект (+0.1%) с высокой вероятностью — не повод для досрочной остановки и внедрения.
Ошибка 3: Игнорировать доверительный интервал
Широкий CI означает высокую неопределенность. Если CI = [-2%, +10%], даже при P(Δ>0) = 70% реальный эффект может быть отрицательным. В таком случае лучше продолжить эксперимент.
Ошибка 4: Не учитывать нестабильность метрик
Если метрика сильно колеблется день ото дня (например, из-за сезонности или внешних факторов), прогноз будет неточным. Убедитесь, что эффект стабилен на протяжении нескольких дней.
Ошибка 5: Сравнивать прогноз с финальным результатом
Если вы всё же довели эксперимент до конца, не ожидайте, что результат совпадёт с прогнозом. Прогноз — это вероятностная оценка, а не точное предсказание.