Производящая функция моментов нормального распределения и граница Чернова

Производящая функция моментов собирает информацию о степенных моментах в одной функции. Она также позволяет ограничивать хвостовые вероятности, но при правом хвосте знак вспомогательного параметра принципиален.

Научная визуализацияТочный нормальный хвост и граница Чернова

Граница Чернова лежит выше точной хвостовой вероятности и показывает правильный экспоненциальный масштаб убывания.

ƒP(Z≥a)=1−Φ(a) ≤ exp(−a²/2)

Условие

Для X ∼ N(0, 1) найдите M(t) = E(e^tX), E(Xᵏ), E(sin(aX)), E(cos(aX)) и E(e^aX). Докажите границу Чернова для произвольной величины и найдите её для стандартной нормальной.

Производящая функция моментов

В интеграле t x − x²/2 = −(x − t)²/2 + t²/2. После дополнения квадрата оставшийся интеграл — нормированная нормальная плотность:

M(t) = e^t²/2, t ∈ ℝ.

Разложение e^t²/2 = Σ_j=0^∞ t^2j/(2ʲj!) сравниваем с рядом Σ E(Xᵏ)tᵏ/k!. Получаем:

E(X^2j+1) = 0;
E(X^2j) = (2j)!/(2ʲj!).

В частности, второй момент равен 1, четвёртый — 3, шестой — 15; нулевой момент равен 1.

Тригонометрические функции и экспонента

По симметрии E(sin(aX)) = 0. Характеристическая функция нормального распределения равна e^−a²/2, поэтому E(cos(aX)) = e^−a²/2.

Последнюю формулу можно проверить без комплексного дополнения квадрата: для h(a) = E(e^iaX) интегрирование по частям с φ′(x) = −xφ(x) даёт h′(a) = −a h(a), h(0) = 1. Решение — e^−a²/2.

Подстановка t = a в M даёт E(e^aX) = e^a²/2.

Неравенство Чернова

Для произвольной случайной величины Z и t > 0 событие Z ≥ a влечёт e^tZ ≥ e^ta. Неравенство Маркова для неотрицательной экспоненты даёт:

P(Z ≥ a) ≤ e^−taE(e^tZ).

Берём инфимум по положительным t, для которых ожидание конечно; t = 0 можно добавить как тривиальную границу 1. В исходной записи ограничения знака t нет. Здесь оно добавлено: отрицательное t меняет направление сравнения и не даёт эту оценку правого хвоста.

Оптимизация для стандартной нормальной

Нужно минимизировать exp(t²/2 − ta) по t ≥ 0. При a > 0 минимум достигается в t = a:

P(X ≥ a) ≤ exp(−a²/2), a ≥ 0.

При a < 0 минимум на допустимой полуоси достигается в t = 0 и даёт 1. Значит, оптимальная граница в этой форме равна e^−a²/2 для a ≥ 0 и 1 для a < 0.

Это верхняя оценка, а не точная нормальная хвостовая вероятность. Моменты и промежуточные доказательства дополнены редакцией; ограничение на параметр исправляет неполную формулировку источника.

Математика.

Б. Демешев и участники · probability_pro, 18.10 · CC BY 4.0. Адаптация; доказательства и область оптимизации уточнены.