Таблица A/B теста #

Основная таблица результатов анализа двух вариантов (контроль vs. тест).

Структура таблицы #

Таблица содержит одну строку для каждой метрики из загруженного файла. Колонки показывают ключевые статистики сравнения двух групп.

Метрика #

Название метрики из загруженного CSV файла. Метрики с маркером ⭐ — это primary метрики, отмеченные вами как ключевые для эксперимента.

Зеленый цвет строки означает статистически значимый результат (p-value < 0.05).

Обработка #

Тип предобработки, применённый к метрике:

• — (пусто) — для conversion метрик (бинарных), предобработка не применяется
• log — логарифмическое преобразование
• IQR3 — очистка выбросов методом 3×IQR
• winsor5% — винзоризация на уровне 5%
• winsor1% — винзоризация на уровне 1%

Предобработка автоматически выбирается системой для numeric метрик, чтобы минимизировать влияние выбросов.

Эффект (Δ) #

Разница между тестовой и контрольной группами. Формат: абсолютное изменение (относительное изменение в %).

Для conversion метрик:

• Абсолютное изменение в процентных пунктах (pp)
• Пример: 1.50 ( +15.00% ) → конверсия выросла на 1.5 pp, что составляет +15% относительно контроля

Для numeric метрик:

• Абсолютное изменение в единицах метрики
• Пример: 50.00 ( +10.00% ) → метрика выросла на 50 единиц, что составляет +10% относительно контроля

CI Low / CI Up #

Доверительный интервал эффекта (95% confidence interval). Показывает диапазон, в который с вероятностью 95% попадает истинное значение эффекта.

Интерпретация:

• Если интервал не включает 0 → эффект статистически значим
• Если интервал включает 0 → нет уверенности в наличии эффекта
• Узкий интервал → высокая точность оценки
• Широкий интервал → низкая точность, нужна большая выборка

Пример:

• CI Low: 0.80, CI Up: 2.20 → эффект находится в диапазоне от +0.80 до +2.20 (значим)
• CI Low: -0.50, CI Up: 1.50 → эффект может быть от -0.50 до +1.50 (не значим)

P-value #

Вероятность получить наблюдаемую или более экстремальную разницу, если на самом деле изменение не имеет эффекта.

Порог: p < 0.05 — результат статистически значим.

Важно: P-value показывает, есть ли эффект, но не показывает его размер. Всегда смотрите на величину эффекта и доверительный интервал.

P(win) #

Доступно только для Bootstrap анализа (при малых выборках или нарушениях нормальности).

Вероятность того, что тестовый вариант лучше контрольного. Показывает байесовскую оценку шансов на успех.

Интерпретация:

• > 90% — высокая вероятность успеха (зеленый)
• 75-90% — умеренная вероятность (желтый)
• < 75% — низкая вероятность

Принятие решений #

Не полагайтесь только на p-value. Учитывайте:

1. Размер эффекта: Достаточно ли он велик для бизнеса?
2. Доверительный интервал: Насколько точна оценка?
3. Практическая значимость: Стоит ли внедрять изменение с учетом затрат?
4. Побочные эффекты: Как изменились другие метрики?

Пример правильного решения:

• Метрика purchase_conversion: эффект +2.30 ( +23.00% ), CI [+1.50, +3.10], p-value 0.0012
• Вывод: Статистически значимый рост конверсии на 23%, доверительный интервал узкий и не включает 0. Изменение явно положительное, стоит внедрять.

Пример осторожного решения:

• Метрика revenue_per_user: эффект +0.05 ( +0.50% ), CI [+0.01, +0.09], p-value 0.0180
• Вывод: Статистически значим, но эффект микроскопический (+0.5%). Нужно оценить, оправдывают ли затраты на внедрение такой малый прирост.