FDR коррекция #

Механизм контроля ложноположительных результатов при анализе нескольких метрик одновременно.

Зачем нужна FDR коррекция #

Когда вы анализируете несколько метрик в одном эксперименте, возрастает вероятность получить "случайно" значимый результат хотя бы для одной из них.

Проблема множественного тестирования:

• При анализе одной метрики с α = 0.05 вероятность ложного срабатывания = 5%
• При анализе 10 метрик вероятность хотя бы одного ложного срабатывания ≈ 40%
• При анализе 20 метрик эта вероятность достигает ≈ 64%

False Discovery Rate (FDR) — это ожидаемая доля ложных открытий среди всех значимых результатов. FDR коррекция — это метод, который контролирует этот показатель на заданном уровне.

Как это работает в AB-Labz Workbench #

Перед запуском анализа вы можете выбрать ключевые метрики (до 5 штук), которые будут анализироваться как единое семейство.

Выбор ключевых метрик #

При настройке анализа вам будет предложено выбрать ключевые метрики:

Что это означает:

• Выбранные метрики образуют одно "семейство" для целей статистической коррекции
• FDR коррекция применяется только внутри этого семейства
• Остальные метрики остаются независимыми и анализируются без коррекции

Рекомендации по выбору:

• Выбирайте только те метрики, по которым вы планируете принимать решение
• Обычно это 1-3 ключевые метрики продукта (например, конверсия, выручка, retention)
• Не включайте вспомогательные или разведочные метрики

Включение коррекции #

В настройках анализа есть чекбокс "Коррекция p".

Если включено:

• Применяет Benjamini-Hochberg (FDR) коррекцию к выбранным ключевым метрикам
• Это уменьшает вероятность "случайных" значимых результатов при анализе группы метрик
• Для остальных метрик коррекция не применяется

Если выключено:

• Все метрики анализируются независимо
• Используйте, если смотрите метрики по отдельности или коррекция не нужна

Когда использовать FDR коррекцию #

Используйте коррекцию, когда анализируете несколько ключевых метрик одновременно и принимаете решение на основе группы метрик. Если вы смотрите на конверсию, выручку и retention вместе и готовы внедрить изменение, когда хотя бы одна метрика улучшилась, коррекция защитит вас от случайных ложных срабатываний.

Не используйте коррекцию, если анализируете только одну метрику или метрики независимы и решения принимаются отдельно. Коррекция также не нужна для вспомогательных метрик, которые используются для диагностики уже после принятия основного решения.

Интерпретация результатов с FDR коррекцией #

После применения FDR коррекции p-values ключевых метрик будут скорректированы (обычно увеличены).

Пример:

Без коррекции:

• conversion: p = 0.03 (значимо)
• revenue: p = 0.04 (значимо)
• retention: p = 0.08 (не значимо)

С FDR коррекцией (3 метрики):

• conversion: q = 0.09 (НЕ значимо после коррекции)
• revenue: q = 0.09 (НЕ значимо после коррекции)
• retention: q = 0.12 (не значимо)

Интерпретация: Хотя конверсия и выручка показывали значимость без коррекции (p < 0.05), после учета множественного тестирования эти результаты могут быть случайными. Это защищает вас от преждевременных выводов.