Задание источника
Для y=Xβ+u, E(u)=0, Var(u)=Σ≠σ²I модель оценена обобщённым методом наименьших квадратов. Найдите ковариационную матрицу Cov(β̂_GLS,u).
Решение источника
β̂_GLS=(XᵀΣ⁻¹X)⁻¹XᵀΣ⁻¹y. Поскольку y=Xβ+u, случайная часть оценки является линейным преобразованием u. Поэтому
Cov(β̂_GLS,u)=(XᵀΣ⁻¹X)⁻¹XᵀΣ⁻¹Σ=(XᵀΣ⁻¹X)⁻¹Xᵀ.
Редакционная проверка размеров
Если X имеет n строк и k столбцов, результат имеет размер k×n. Он описывает ковариацию каждого из k оценённых коэффициентов с каждой из n истинных ошибок. Обычно эта матрица не нулевая.
Предполагаются положительная определённость Σ и полный столбцовый ранг X. При случайной X равенство нужно читать условно на X, используя соответствующую условную ковариацию ошибок.
Почему это не противоречит ортогональности
Нормальные уравнения GLS дают XᵀΣ⁻¹û=0 для оценённых остатков û=y−Xβ̂_GLS. Это не утверждение о нулевой ковариации коэффициента с исходной u.
Истинная ошибка u содержит случайность, из которой вычисляется оценка. Остаток û дополнительно вычитает оценённую проекцию. Подмена u на û в вопросе меняет объект расчёта.
Частный случай
При Σ=σ²I формула превращается в σ²(XᵀX)⁻¹Xᵀ — привычную ковариацию МНК-оценки с ошибками. Само отсутствие гетероскедастичности не делает коэффициенты независимыми от случайных данных, использованных для их оценки.
Борис Демешев и участники · Исходное решение · CC BY 4.0. Формула сохранена; объекты и размеры пояснены.