P-value простыми словами #

Что означает статистическая значимость и как её интерпретировать.

Что такое p-value #

P-value — это вероятность увидеть такую (или более экстремальную) разницу между группами, если на самом деле изменение не имеет эффекта. Чем меньше p-value, тем менее вероятно, что разница случайна.

Пример: p-value = 0.03 означает, что если бы эффекта не было, такая разница встречалась бы только в 3% случаев. Это маловероятно, поэтому мы делаем вывод: эффект реален.

Порог значимости #

Обычно используется порог p < 0.05 (5%). Если p-value меньше 0.05, результат считается статистически значимым — мы отвергаем нулевую гипотезу и признаём, что эффект есть.

Если p-value ≥ 0.05, результат не значим — нет достаточных доказательств, что изменение имело эффект. Это не значит, что эффекта точно нет, просто нет уверенности в его наличии.

Типичные ошибки интерпретации #

P-value — это не вероятность того, что эффекта нет. Это вероятность увидеть такие данные при отсутствии эффекта.

P-value не говорит о размере эффекта. Статистически значимый эффект может быть микроскопическим и бесполезным с бизнес-точки зрения. Всегда смотрите на размер изменения, а не только на p-value.

P-value зависит от размера выборки. При огромной выборке даже крошечные различия становятся значимыми. При маленькой — реальный эффект может не достичь значимости.

Как использовать p-value #

P-value — это инструмент, а не финальный вердикт. Смотрите на него вместе с размером эффекта, доверительными интервалами и бизнес-контекстом. Статистическая значимость — необходимое, но не достаточное условие для принятия решения.