Рабочий процесс #

Типичный цикл проведения A/B эксперимента в AB-Labz состоит из нескольких основных этапов: от подготовки до архивирования результатов.

1. Создание метрик (опционально) #

Цель: Создать справочник метрик для удобства команды.

Каталог метрик — это мини-вики, где хранятся названия и формулы метрик:

• Помогает вспомнить, какие метрики использовались ранее
• Показывает, как рассчитывается каждая метрика
• Удобен для стандартизации названий в команде

Важно: Эксперимент анализируется по метрикам из загруженного файла, а не по каталогу. Каталог — это просто справочник для документирования.

2. Создание гипотезы #

Цель: Сформулировать предположение об изменении и ожидаемом эффекте.

В разделе Гипотезы создайте новую гипотезу:

• Опишите идею изменения
• Укажите ключевую метрику (можно выбрать из каталога или ввести название)
• Укажите ожидаемое изменение (например, +10%)
• Добавьте дополнительную информацию: приоритет, усилия, охват

На этом этапе гипотеза получает статус "в очереди" и ожидает проведения эксперимента.

3. Расчёт выборки #

Цель: Определить, сколько пользователей нужно включить в эксперимент.

Используйте встроенный калькулятор размера выборки:

• Укажите базовое значение метрики (current rate)
• Задайте ожидаемое изменение (expected change)
• Установите статистическую мощность (обычно 80%)
• Получите необходимый размер выборки для каждой группы

Это поможет спланировать длительность эксперимента и трафик.

4. Планирование дат эксперимента #

Цель: Запланировать период проведения эксперимента.

В карточке гипотезы или при создании эксперимента:

• Установите дату начала эксперимента
• Укажите дату окончания (на основе расчёта выборки)
• Убедитесь, что даты не пересекаются с другими экспериментами на той же аудитории

После планирования эксперимент появится в календаре.

5. Отслеживание в календаре #

Цель: Визуально контролировать все запланированные и активные эксперименты.

В разделе Календарь:

• Видны все эксперименты по датам
• Легко отслеживать параллельные запуски
• Можно быстро перейти к карточке любого эксперимента

Календарь помогает избежать конфликтов и держать команду в курсе текущих экспериментов.

6. Анализ результатов (или прогноз) #

Цель: Получить статистическую оценку результатов эксперимента.

Анализ результатов — основной сценарий #

Если эксперимент прошёл планово и выборка набрана, переходите к анализу:

• Загрузите данные эксперимента (CSV-файл с метриками)
• Система автоматически проанализирует все метрики из файла
• Получите результаты: изменение, p-value, доверительные интервалы
• Создавайте ratio-метрики для углубленного анализа

Анализ проводится по метрикам, которые есть в загруженном файле, независимо от каталога.

Прогноз — для ранней остановки #

Если бизнес не может ждать полного набора выборки, используйте инструмент прогнозирования для досрочной остановки:

• Запустите эксперимент на меньший срок (например, 1 неделю вместо 3 недель)
• Загрузите промежуточные данные эксперимента
• Система оценит вероятность успеха, если довести эксперимент до конца
• Примите решение: останавливать досрочно или продолжить

Прогноз — это компромисс между скоростью и надёжностью. Чем больше данных уже собрано, тем точнее прогноз.

7. Сохранение результатов и архивирование #

Цель: Задокументировать итоги эксперимента и очистить активные гипотезы.

После анализа:

1. Сохраните результаты в гипотезу:

   • Запишите фактическое изменение метрики
   • Добавьте выводы и комментарии
   • Отметьте статус: успех, провал или неоднозначно

2. Переместите в архив:

   • Гипотеза перейдет в раздел Архив
   • История сохранится для будущего анализа
   • Активные гипотезы останутся чистыми

Архив позволяет накапливать знания о том, что работает, а что нет.

Итеративный процесс #

После завершения эксперимента цикл начинается заново:

• Успешные гипотезы вдохновляют на новые идеи
• Неудачные эксперименты дают инсайты для корректировки подхода
• Накопленные данные помогают делать более точные прогнозы