I_n(θ)=n I_1(θ)
Условие
X₁,…,Xₙ независимы и одинаково распределены. Как связаны информация Фишера I_X1(θ), I_X2(θ) и информация всей выборки?
Ответ источника
I_X1(θ)=I_X2(θ) и I_X1,…,Xn(θ)=nI_X1(θ).
Почему первое равенство
Одинаковое распределение означает одну и ту же плотность или функцию вероятностей при данном θ. Поэтому score одного наблюдения имеет один и тот же закон и одинаковый второй момент.
Почему информация складывается
Логарифм правдоподобия независимой выборки является суммой ℓ=Σℓᵢ. Score S=ΣSᵢ. При стандартных условиях регулярности E(Sᵢ)=0, а независимость наблюдений даёт нулевые ковариации между различными score. Следовательно, Var(S)=ΣVar(Sᵢ)=nI₁(θ).
То же получается из ожидаемой отрицательной второй производной: −Eℓ″=−ΣEℓᵢ″.
Граница правила
Если наблюдения зависимы, дисперсия суммы score содержит ковариационные члены и простое умножение на n может стать неверным. Если модель нерегулярна и носитель зависит от параметра, равенство разных определений информации требует отдельной проверки.
statistics_pro 5.13 · CC0 1.0 · ответ сохранён, доказательство добавлено.