Каталог метрик

Справочник метрик вашей организации с возможностью создания, редактирования и импорта.

Зачем нужен каталог

Каталог метрик — это централизованное хранилище информации о всех показателях, которые использует команда. Он служит мини-вики для документирования:

• Какие метрики используются в экспериментах
• Какой тип у каждой метрики (conversion, numeric, ratio)
• Как рассчитываются составные метрики (формулы)
• Краткое описание назначения метрики

Важно: Каталог — это справочная система. Эксперименты анализируются по загруженным данным, независимо от каталога.

Типы метрик

Понимание типов метрик критически важно для корректного статистического анализа. Когда система анализирует загруженные данные, она применяет разные методы в зависимости от типа метрики.

1. Conversion (Конверсионные метрики)

Бинарные метрики, которые измеряют факт совершения или несовершения действия.

Характеристики:

• Принимают значения 0 или 1 для каждого пользователя
• Измеряют долю пользователей, совершивших целевое действие
• Результат выражается в процентах (от 0% до 100%)

Примеры:

• registration_rate — доля пользователей, завершивших регистрацию
• purchase_conversion — доля пользователей, совершивших покупку
• button_click — доля пользователей, кликнувших на кнопку

Формат данных:

user_id,group,registration_completed
user_1,control,0
user_2,control,1
user_3,treatment,1

Интерпретация: изменение в процентных пунктах (10% → 12% = +2 п.п.)

2. Numeric (Числовые метрики)

Непрерывные метрики, которые измеряют количественные показатели на единицу рандомизации.

Характеристики:

• Могут принимать любые числовые значения
• Измеряют среднее значение показателя на единицу рандомизации (обычно на пользователя)
• Позволяют отслеживать интенсивность действий

Примеры:

• revenue_per_user — средний доход на пользователя
• session_duration — средняя продолжительность сессии
• page_views_per_user — среднее количество просмотров страниц на пользователя

Формат данных:

user_id,group,revenue,session_duration
user_1,control,0,120.5
user_2,control,49.99,340.2
user_3,treatment,129.99,450.8

Интерпретация: изменение среднего значения на единицу рандомизации

3. Ratio (Метрики-отношения)

Метрики, которые считаются не на единицу рандомизации.

Характеристики:

• Рассчитываются как отношение двух numeric-метрик
• Агрегируются не по единице рандомизации
• Требуют специальной статистической обработки

Примеры:

• average_order_value = revenue / orders — средний чек заказа (на заказ, не на пользователя)
• ctr = clicks / impressions — показатель кликабельности (на показ, не на пользователя)
• revenue_per_session = revenue / sessions — доход на сессию (на сессию, не на пользователя)

Создание ratio-метрик:

Ratio-метрики не нужно заранее поставлять в данных — они создаются на лету в интерфейсе анализа эксперимента на основе существующих numeric-метрик:

1. Открыть раздел анализа эксперимента
2. Выбрать "Добавить ratio-метрику"
3. Указать формулу: числитель / знаменатель
4. Система рассчитает метрику с учетом правильной статистики

Интерпретация: изменение среднего значения на другую единицу агрегации

Почему типы метрик важны

Правильный тип метрики критически важен для корректного статистического анализа. Система применяет разные методы в зависимости от типа метрики.

Размер выборки:

• Разные типы метрик требуют различного размера выборки
• Ratio обычно требует больший размер выборки из-за дополнительной вариативности

Корректность выводов:

• Неправильный тип приведёт к некорректным p-value и доверительным интервалам
• Каталог метрик помогает документировать правильные типы для использования в будущих экспериментах

Просмотр метрик

Откройте Каталог метрик через боковое меню. Вы увидите таблицу с колонками:

• Тип — conversion, numeric или ratio
• Название — идентификатор метрики
• Описание — пояснение назначения (если заполнено)
• Формула — как рассчитывается метрика (если указано)

Таблица автоматически сортируется по типу, затем по названию. Можно изменить сортировку кнопками в заголовке.

Создание метрики

Нажмите "Добавить метрику". В модальном окне заполните:

Название (обязательно, до 50 символов):

• Используйте snake_case: conversion_rate, revenue_per_user
• Название должно быть уникальным
• Рекомендуется совпадение с названиями колонок в данных

Тип (обязательно):

• conversion — бинарные события (0/1): регистрация, покупка, клик
• numeric — числовые показатели на единицу рандомизации: доход на пользователя, время сессии
• ratio — отношения, агрегируемые не по единице рандомизации: средний чек заказа, CTR

Описание (опционально, до 300 символов):

• Поясните, что измеряет метрика
• Укажите контекст использования
• Добавьте примечания для команды

Формула (опционально, до 100 символов):

• Для conversion: условие фиксации (user_registered = 1)
• Для numeric: способ расчёта (sum(revenue) per user)
• Для ratio: математическое выражение (revenue / orders)

После заполнения нажмите "Сохранить". Метрика появится в таблице.

Редактирование метрики

Наведите на строку метрики — справа появится кнопка меню [...]. Нажмите её и выберите "Редактировать".

В модальном окне можно изменить все поля, включая тип метрики. Изменения применяются только к справочнику — загруженные данные экспериментов не затрагиваются.

Нажмите "Сохранить" для применения изменений.

Удаление метрики

Удалять метрики могут только администраторы организации.

Наведите на строку метрики, откройте меню [...] и выберите "Удалить". Подтвердите действие в диалоговом окне.

Удаление необратимо, но не влияет на исторические данные экспериментов, где эта метрика использовалась.

Импорт метрик

При загрузке данных эксперимента система автоматически анализирует заголовки столбцов и предлагает импортировать новые метрики в каталог.

Процесс импорта:

1. Система сравнивает столбцы данных с метриками в каталоге
2. Находит новые метрики (которых нет в каталоге)
3. Автоматически определяет тип на основе данных:
   • Если все значения 0 или 1 → conversion
   • Иначе → numeric
4. Показывает модальное окно со списком найденных метрик
5. Вы выбираете, какие метрики добавить в каталог

Важные моменты:

• Импорт в каталог опционален — данные будут проанализированы в любом случае
• После импорта рекомендуется проверить типы и добавить описания

Система не создаёт дубликаты — если метрика с таким названием уже существует, она пропускается.

Лучшие практики

Стандартизация названий: Договоритесь в команде о едином формате названий. Например, используйте префиксы для группировки: payment_conversion, payment_revenue, payment_refunds.

Документирование: Заполняйте описание для всех ключевых метрик. Это помогает новым членам команды быстро разобраться, что измеряется.

Актуализация: Периодически проводите аудит каталога — удаляйте неиспользуемые метрики, обновляйте описания устаревших.