Метрики #

Что такое метрики #

Метрики — это ключевые показатели, по которым оценивается успешность экспериментов. В AB-Labz метрики представляют собой измеримые величины, которые отражают поведение пользователей и эффективность изменений в продукте.

Каталог метрик в системе — это справочник (мини-вики) для документирования:

• Каких показателей используются в команде
• Как они рассчитываются и какие имеют типы
• Какие формулы применяются для составных метрик

Важно: Эксперименты анализируются по метрикам из загруженного CSV-файла, а не по каталогу. Каталог нужен для удобства команды и документирования.

Каждая метрика в каталоге имеет:

• Название — уникальный идентификатор метрики
• Тип — определяет способ расчета и интерпретации
• Описание — опциональное текстовое пояснение (до 300 символов)
• Формула — математическое выражение для расчета (до 100 символов)

Типы метрик #

1. Conversion (Конверсионные метрики) #

Определение: Бинарные метрики, которые измеряют факт совершения или несовершения действия.

Характеристики:

• Принимают значения 0 или 1 для каждого пользователя
• Измеряют долю пользователей, совершивших целевое действие
• Результат выражается в процентах (от 0% до 100%)

Примеры:

• registration_rate — доля пользователей, завершивших регистрацию
• purchase_conversion — доля пользователей, совершивших покупку
• button_click — доля пользователей, кликнувших на кнопку

Формат данных:

user_id,group,registration_completed
user_1,control,0
user_2,control,1
user_3,treatment,1

2. Numeric (Числовые метрики) #

Определение: Непрерывные метрики, которые измеряют количественные показатели на единицу рандомизации.

Характеристики:

• Могут принимать любые числовые значения
• Измеряют среднее значение показателя на единицу рандомизации (обычно на пользователя)
• Позволяют отслеживать интенсивность действий

Примеры:

• revenue_per_user — средний доход на пользователя
• session_duration — средняя продолжительность сессии
• page_views_per_user — среднее количество просмотров страниц на пользователя

Формат данных:

user_id,group,revenue,session_duration
user_1,control,0,120.5
user_2,control,49.99,340.2
user_3,treatment,129.99,450.8

3. Ratio (Метрики-отношения) #

Определение: Метрики, которые считаются не на единицу рандомизации.

Что такое единица рандомизации: Единица рандомизации — это сущность, по которой сплитуется эксперимент. Чаще всего это пользователи. Если метрика считается на пользователя (например, revenue per user), это numeric. Если метрика считается на другую единицу (например, на заказ, на сессию), это ratio.

Характеристики:

• Рассчитываются как отношение двух numeric-метрик
• Агрегируются не по единице рандомизации
• Требуют специальной статистической обработки (Delta Method)

Примеры:

• average_order_value = revenue / orders — средний чек заказа (на заказ, не на пользователя)
• ctr = clicks / impressions — показатель кликабельности (на показ, не на пользователя)
• revenue_per_session = revenue / sessions — доход на сессию (на сессию, не на пользователя)

Важно:

• revenue_per_user = revenue / users — это numeric, так как считается на единицу рандомизации (пользователя)
• revenue_per_order = revenue / orders — это ratio, так как считается на заказ, а не на пользователя

Создание ratio-метрик: Ratio-метрики создаются в специальном интерфейсе анализа эксперимента на основе существующих numeric-метрик:

1. Открыть раздел анализа эксперимента
2. Выбрать "Добавить ratio-метрику"
3. Указать формулу: числитель / знаменатель
4. Система рассчитает метрику с учетом правильной статистики

Почему типы метрик важны #

Правильный тип метрики критически важен для корректного статистического анализа данных эксперимента. Когда система анализирует загруженный файл, она применяет разные методы в зависимости от типа:

Статистические методы:

• Conversion: биномиальные тесты (z-тест для пропорций)
• Numeric: t-тесты и непараметрические тесты для средних значений
• Ratio: Delta Method для корректной обработки вариативности

Интерпретация результатов:

• Conversion: изменение в процентных пунктах (10% → 12% = +2 п.п.)
• Numeric: изменение среднего значения на единицу рандомизации
• Ratio: изменение среднего значения на другую единицу агрегации

Размер выборки:

• Разные типы метрик требуют различного размера выборки
• Ratio обычно требует больший размер выборки из-за дополнительной вариативности

Каталог метрик помогает документировать правильные типы для использования в будущих экспериментах.

Создание метрик #

Поля при создании #

1. Название (обязательно) #

• До 50 символов
• Должно быть уникальным в рамках организации
• Рекомендуется snake_case: conversion_rate, revenue_per_user

2. Тип (обязательно) #

• conversion — для бинарных событий (0 или 1)
• numeric — для непрерывных значений на единицу рандомизации
• ratio — для значений, агрегируемых не по единице рандомизации
• Можно изменить при редактировании метрики

3. Описание (опционально) #

• До 300 символов
• Пояснение назначения и способа расчета метрики

4. Формула (опционально) #

• До 100 символов
• Математическое выражение: revenue / orders, clicks / impressions

Интерфейс создания #

1. Перейти в раздел "Каталог метрик"
2. Нажать "Добавить метрику"
3. Заполнить форму и нажать "Сохранить"

Метрика будет добавлена в справочник и доступна для справок всей команде.

Массовый импорт метрик #

При загрузке CSV-файла с данными эксперимента система предлагает добавить новые метрики в каталог для документирования.

Процесс импорта:

1. Система анализирует заголовки столбцов в файле
2. Сравнивает их с метриками в каталоге
3. Предлагает добавить новые метрики в справочник
4. Автоматически определяет тип на основе данных:
   • Если все значения 0 или 1 → conversion
   • Иначе → numeric

Важно:

• Импорт в каталог опционален — файл будет проанализирован в любом случае
• После импорта можно отредактировать типы и добавить описания
• Это удобно для документирования метрик, используемых в команде