Оценка показателя степенной плотности: правдоподобие против метода моментов

Условие

Независимая одинаково распределённая выборка имеет плотность f(x)=θx^θ−1 при 0<x<1, θ>0. Найдите оценки θ методом максимального правдоподобия и методом моментов, оцените их дисперсии и приближённые распределения. В источнике решения нет; ниже — редакционный вывод.

Максимальное правдоподобие

Логарифм правдоподобия равен nlnθ+(θ−1)ΣlnXᵢ. Его производная обращается в ноль при θ̂_ML=−n/ΣlnXᵢ; вторая производная −n/θ² отрицательна.

Величины −lnXᵢ экспоненциальны с интенсивностью θ. Поэтому информация Фишера на одно наблюдение равна 1/θ², а при большом n:

θ̂_ML ≈ N(θ,θ²/n). Подстановочная оценка асимптотической дисперсии — θ̂_ML²/n.

Метод моментов

Среднее исходной величины равно θ/(θ+1). Из X̄=θ/(θ+1) получаем θ̂_MM=X̄/(1−X̄).

Дисперсия X равна θ/[(θ+1)²(θ+2)]. Производная функции u/(1−u) в точке θ/(θ+1) равна (θ+1)². По дельта-методу:

θ̂_MM ≈ N(θ, θ(θ+1)²/[n(θ+2)]).

Для оценки этого параметра дисперсии подставляют θ̂_MM вместо θ. Это асимптотическое выражение, не формула точной конечновыборочной дисперсии.

Точная проверка оценки правдоподобия

Сумма T=−ΣlnXᵢ имеет Gamma(n, интенсивность θ). Поэтому при n>1 E(θ̂_ML)=nθ/(n−1), а при n>2 Var(θ̂_ML)=n²θ²/[(n−1)²(n−2)].

Оценка имеет положительное смещение при конечном n, хотя состоятельна. Точная дисперсия согласуется с θ²/n в первом асимптотическом порядке. При n≤2 использовать формулу конечной дисперсии нельзя.

Сравнение

Асимптотическая дисперсия метода моментов больше: отношение к дисперсии правдоподобия равно (θ+1)²/[θ(θ+2)]>1. Информация всей выборки логарифмов используется эффективнее, чем только её арифметическое среднее.

Математика и статистика.

Б. Демешев и участники · statistics_pro, 5.3 · CC0 1.0. Условие источника; решение редакции.