Как работает статистика A/B тестов #

Принципы статистического сравнения групп простыми словами.

Основная идея #

A/B тест сравнивает две группы пользователей: одна видит вариант A, другая — вариант B. Мы измеряем метрику в каждой группе (например, конверсию) и проверяем, есть ли значимая разница.

Но даже если группы идентичны, метрики немного различаются из-за случайности. Задача статистики — отличить реальный эффект от случайных колебаний.

Случайность и распределения #

Представьте, что вы подбросили монетку 100 раз. Теоретически должно выпасть 50 орлов и 50 решек, но на практике может быть 48 орлов и 52 решки. Это нормальная случайность.

Так же и в экспериментах: даже без изменений метрики групп немного различаются. Статистика помогает понять, где заканчивается случайность и начинается реальный эффект.

Гипотезы: нулевая и альтернативная #

Нулевая гипотеза (H0): изменение не имеет эффекта, разница между группами случайна.

Альтернативная гипотеза (H1): изменение имеет эффект, разница реальна.

Статистический тест проверяет, можем ли мы отвергнуть нулевую гипотезу. Если да — эффект реален. Если нет — нет доказательств эффекта.

Роль размера выборки #

Чем больше пользователей в эксперименте, тем точнее оценка эффекта и тем легче обнаружить даже небольшие изменения. Маленькая выборка может "не заметить" реальный эффект, а большая — надежно его выявить.

Именно поэтому важно заранее рассчитывать размер выборки, чтобы гарантировать статистическую мощность теста.