Терминология

Краткий глоссарий ключевых терминов AB-Labz Workbench.

Гипотеза

Предположение о том, что определенное изменение в продукте приведет к улучшению ключевой метрики. Включает название изменения, текст гипотезы, целевую метрику и ожидаемый эффект.

Эксперимент

Контролируемая проверка гипотезы, при которой аудитория случайным образом делится на группы для сравнения различных вариантов продукта. Может быть двухвариантным (A/B тест) или мультивариативным (A/B/C/... тест).

Единица рандомизации

Сущность, по которой происходит разделение на группы эксперимента (обычно пользователь, но может быть сессия или устройство).

Размер выборки

Минимальное количество единиц рандомизации (пользователей), необходимое для достижения статистически значимых результатов. Рассчитывается на основе базового значения метрики, ожидаемого изменения и статистической мощности.

Контрольная группа (Control)

Группа пользователей, которые видят текущую версию продукта без изменений. В обозначениях это вариант A или просто Control.

Тестовые группы (Treatment)

Группы пользователей, которые видят новые версии продукта с изменениями:

• В A/B тесте (2 варианта): одна тестовая группа — вариант B (Treatment)
• В мультивариативных тестах: несколько тестовых групп — варианты B, C, D и т.д. (все они называются Treatment)

Статистическая значимость

Уверенность в том, что наблюдаемая разница между группами не случайна. Обычно измеряется через p-value: результат значим при p < 0.05.

P-value

Вероятность получить наблюдаемую или более экстремальную разницу между группами, если на самом деле изменение не имеет эффекта.

Доверительный интервал

Диапазон значений, в который с вероятностью 95% попадает истинное значение эффекта. Помогает оценить не только наличие эффекта, но и его возможную величину.

Базовое значение (Baseline)

Текущий уровень метрики до проведения изменений, используется для расчёта размера выборки и оценки эффекта.

Минимальный детектируемый эффект (MDE)

Минимальное изменение метрики, которое необходимо обнаружить в эксперименте для принятия решения.

Статистическая мощность (Power)

Вероятность обнаружить эффект, если он действительно существует. Обычно устанавливается на уровне 80%.