Доверительные интервалы #

Оценка не только наличия эффекта, но и его возможной величины.

Что такое доверительный интервал #

Доверительный интервал — это диапазон значений, в который с определенной вероятностью (обычно 95%) попадает истинный эффект изменения. Он показывает не только "есть ли эффект", но и "насколько он велик".

Пример: изменение конверсии +2.5%, доверительный интервал [+1.2%, +3.8%]. Это значит: с вероятностью 95% истинное изменение находится между +1.2% и +3.8%.

Зачем нужен интервал #

P-value говорит "эффект есть или нет", но не показывает его размер. Доверительный интервал дает полную картину: минимальный и максимальный возможный эффект.

Если интервал узкий ([+2.3%, +2.7%]), оценка точная. Если широкий ([+0.5%, +5.0%]), есть неопределенность — возможно, нужна большая выборка.

Интерпретация интервала #

Интервал не включает 0: эффект статистически значим. Например, [+1.2%, +3.8%] — все значения положительные, эффект реален.

Интервал включает 0: эффект не значим. Например, [-0.5%, +2.0%] — возможны как положительные, так и отрицательные значения, нет уверенности.

Интервал узкий: высокая точность оценки, большая выборка или низкая вариативность данных.

Интервал широкий: низкая точность, малая выборка или высокая вариативность. Результат менее надежен.

Практическое применение #

Доверительные интервалы помогают оценить бизнес-риски. Если интервал [+0.1%, +5.0%], худший случай — минимальное улучшение (+0.1%), лучший — значительное (+5.0%). Это помогает принять взвешенное решение с учетом неопределенности.