Граница Крамера — Рао как линейная проекция оценки на score

Условие

Несмещённую оценку â параметра a нужно наилучшим линейным образом аппроксимировать через score ℓ′: â=γ+βℓ′+u, минимизируя E(u²). Найдите γ,β и докажите границу Крамера — Рао.

Ортогональность ошибки

Условия первого порядка линейной проекции: E(u)=0 и Cov(u,ℓ′)=0. В регулярной модели E(ℓ′)=0.

Коэффициенты

Из несмещённости E(â)=a следует γ=a. Регулярное тождество Cov(â,ℓ′)=dE(â)/da=1 даёт β=1/Var(ℓ′)=1/I(a).

Среднее и дисперсия аппроксимации

Лучшая линейная часть равна a+ℓ′/I(a). Её математическое ожидание равно a, дисперсия — 1/I(a). В источнике в одном предложении её ожидание названо нулём; это противоречит там же указанному γ=a и исправлено здесь явно.

Неравенство

Разложение â=[a+ℓ′/I]+u ортогонально. Поэтому Var(â)=1/I(a)+Var(u)≥1/I(a). Равенство достигается тогда и только тогда, когда остаточная часть u имеет нулевую дисперсию.

Доказательство использует возможность дифференцировать математическое ожидание по параметру и E(score)=0. Для нерегулярных моделей эти шаги требуют отдельной проверки.

statistics_pro 5.29 · CC0 1.0 · γ и β сохранены; ошибочное среднее исправлено.