Сжатие среднего: несмещённая оценка, минимальный MSE и ridge-штраф

Условие

Xᵢ независимы и одинаково распределены, E(Xᵢ)=μ, Var(Xᵢ)=σ². Оценка имеет вид μ̂=cΣXᵢ. Найдите c для несмещённости, c минимального MSE и λ, при котором минимизатор Σ(Xᵢ−μ̂)²+λμ̂² совпадает с этими оценками.

Ключ источника

c=1/n для несмещённости; c=1/(n+σ²/μ²) для минимального MSE; λ=0 и λ=σ²/μ² соответственно.

Редакционный вывод MSE

E(cΣX)=cnμ, Var(cΣX)=c²nσ². Поэтому MSE(c)=c²nσ²+(cn−1)²μ². Дифференцирование даёт c=μ²/(σ²+nμ²), то есть формулу ключа при μ≠0. При μ=0 оптимум c=0 рассматривается отдельно.

Практическое ограничение

MSE-оптимальный c зависит от неизвестного отношения σ²/μ². Это теоретический «оракульный» коэффициент, а не непосредственно вычислимая процедура без дополнительного оценивания.

Связь со штрафом

Минимизация Q даёт μ̂=ΣXᵢ/(n+λ), то есть c=1/(n+λ). λ=0 возвращает выборочное среднее; λ=σ²/μ² — теоретический MSE-оптимум. Сжатие уменьшает дисперсию ценой смещения.

statistics_pro 7.1 · CC0 1.0 · ответы сохранены; вывод развёрнут.