Терминология #

Краткий глоссарий ключевых терминов AB-Labz.

Гипотеза #

Предположение о том, что определенное изменение в продукте приведет к улучшению ключевой метрики. Включает название изменения, текст гипотезы, целевую метрику и ожидаемый эффект.

Эксперимент (A/B тест) #

Контролируемая проверка гипотезы, при которой аудитория случайным образом делится на группы (контрольную и тестовую) для сравнения различных вариантов продукта.

Единица рандомизации #

Сущность, по которой происходит разделение на группы эксперимента (обычно пользователь, но может быть сессия или устройство).

Размер выборки #

Минимальное количество единиц рандомизации (пользователей), необходимое для достижения статистически значимых результатов. Рассчитывается на основе базового значения метрики, ожидаемого изменения и статистической мощности.

Контрольная группа (Control) #

Группа пользователей, которые видят текущую версию продукта без изменений (вариант A).

Тестовая группа (Treatment) #

Группа пользователей, которые видят новую версию продукта с изменениями (вариант B).

Статистическая значимость #

Уверенность в том, что наблюдаемая разница между группами не случайна. Обычно измеряется через p-value: результат значим при p < 0.05.

P-value #

Вероятность получить наблюдаемую или более экстремальную разницу между группами, если на самом деле изменение не имеет эффекта.

Доверительный интервал #

Диапазон значений, в который с вероятностью 95% попадает истинное значение эффекта. Помогает оценить не только наличие эффекта, но и его возможную величину.

Базовое значение (Baseline) #

Текущий уровень метрики до проведения изменений, используется для расчёта размера выборки и оценки эффекта.

Минимальный детектируемый эффект (MDE) #

Минимальное изменение метрики, которое необходимо обнаружить в эксперименте для принятия решения.

Статистическая мощность (Power) #

Вероятность обнаружить эффект, если он действительно существует. Обычно устанавливается на уровне 80%.