Анализ результатов #

Интерпретация статистики и принятие решений на основе данных экспериментов.

Что показывает анализ #

После загрузки файла система автоматически рассчитывает для каждой метрики:

• Среднее значение в контрольной и тестовой группах
• Абсолютное изменение — разница между группами
• Относительное изменение — процентное изменение относительно контроля
• P-value — статистическая значимость различия
• Доверительный интервал (95% CI) — диапазон возможных значений эффекта

Результаты отображаются в таблице, где каждая строка — это одна метрика с полной статистикой.

Интерфейс результатов #

Результаты анализа разделены на вкладки по типам метрик:

• Conversion — бинарные метрики (0/1)
• Numeric — числовые показатели
• Ratio — составные метрики (создаются вручную)

Переключайтесь между вкладками, чтобы просмотреть результаты по каждому типу метрик.

Как читать результаты #

P-value и статистическая значимость #

P < 0.05 (обычно выделено зелёным/красным): Результат статистически значим — разница между группами скорее всего не случайна. Можно доверять выводам.

P ≥ 0.05 (серый): Результат не значим — нет достаточных доказательств, что изменение имело эффект. Возможно, нужна большая выборка, или эффект отсутствует.

Важно: P-value показывает надежность результата, но не говорит о размере или важности эффекта.

Доверительный интервал (95% CI) #

Диапазон значений, в который с вероятностью 95% попадает истинный эффект.

Интервал не включает 0: Эффект статистически значим. Например, CI = [+2.1%, +5.3%] — все значения положительные.

Интервал включает 0: Эффект не значим. Например, CI = [-1.2%, +3.5%] — возможны как положительные, так и отрицательные значения.

Ширина интервала:

• Узкий интервал = высокая точность оценки
• Широкий интервал = низкая точность, возможно недостаточная выборка

Относительное изменение #

Процентное изменение относительно контрольной группы.

Пример: Контроль = 5%, Тест = 5.5%, Изменение = +10% (не +0.5%!)

Всегда смотрите на относительное изменение вместе с абсолютным и доверительным интервалом для полной картины.

Создание ratio-метрик #

Если в файле есть две numeric-метрики (например, revenue и orders), можно создать ratio-метрику прямо в интерфейсе анализа.

Процесс:

1. Перейдите на вкладку Ratio
2. Нажмите "Добавить ratio-метрику"
3. Выберите числитель (например, revenue)
4. Выберите знаменатель (например, orders)
5. Укажите название (например, average_order_value)

Система рассчитает метрику с правильной статистикой (Delta Method), учитывающей вариативность обеих составляющих.

Примеры ratio-метрик:

• revenue / orders — средний чек заказа
• clicks / impressions — CTR
• revenue / sessions — доход на сессию

Multiple testing correction (FDR) #

Если в эксперименте анализируется много метрик (>10), возрастает вероятность ложных срабатываний.

AB-Labz Workbench автоматически применяет коррекцию Benjamini-Hochberg (FDR) к ключевым метрикам, чтобы контролировать общий уровень ложноположительных результатов.

Скорректированные p-values отображаются в отдельной колонке (Adjusted p-value).

Экспорт результатов #

После анализа можно экспортировать результаты:

• Скопировать таблицу результатов
• Сделать скриншот для презентации
• Сохранить выводы в гипотезу

Для сохранения в гипотезу перейдите в раздел Гипотезы, откройте нужную гипотезу и используйте кнопку "Сохранить результаты".

Принятие решений #

Успех:

• Эффект положительный
• Статистически значим (p < 0.05)
• Достаточен с бизнес-точки зрения

Провал:

• Эффект отсутствует или отрицательный
• Или недостаточен для оправдания ресурсов

Неоднозначно:

• Эффект близок к границе значимости
• Противоречивые результаты по разным метрикам
• Нужны дополнительные исследования

Всегда учитывайте не только статистику, но и бизнес-контекст, стоимость внедрения и риски.