Условие
Как распределено p-значение при верной H0? Исследователь отвергает H0, если p>0,95. Какова вероятность ошибки первого рода и разумен ли такой критерий?
Ответ источника
При точном непрерывном p-value: P∼U[0,1]. Поэтому P(P>0,95)=0,05: формальный уровень ошибки I рода равен 5%. Источник считает правило неразумным из-за резкого роста ошибки II рода.
Почему направление перевёрнуто
Малое p-значение означает, что наблюдаемая статистика экстремальна относительно H0. Большое p-значение, наоборот, обычно означает сильную совместимость с нулевым распределением в выбранном направлении. Правило p>0,95 отвергает H0 именно там, где обычный тест не видит противоречия.
Уровень не равен мощности
Контролировать α недостаточно. Можно построить множество критериев с тем же уровнем, но очень разной мощностью. Здесь вероятность отклонения при разумных альтернативах может быть крайне мала.
Дискретные тесты
Равномерность p-value точна не всегда. В дискретных тестах корректное p-value под H0 обычно суперравномерно: P(P≤α)≤α. Поэтому утверждение U[0,1] следует читать в рамках непрерывного точного теста, подразумеваемого учебной задачей.
statistics_pro 12.3 · CC0 1.0 · ответы источника сохранены; область равномерности уточнена.