Условие источника
Для y=Xβ+u при E(u|X)=0 и Var(u|X)=σ²I найдите все ожидания, дисперсионные и взаимные ковариационные матрицы случайных объектов y, ŷ, β̂, u, û и ȳ.
В ключе нет решения. Ниже — редакционный систематический ответ. Все формулы условны на фиксированной X полного столбцового ранга.
Обозначения и средние
Пусть B=(XᵀX)⁻¹Xᵀ, H=XB, M=I−H, a=1/n·1. Тогда ожидания по порядку равны Xβ, Xβ, β, 0, 0, aᵀXβ.
Формула для всех ковариаций сразу
Каждый объект имеет вид своего среднего плюс Aᵢu. Соответствующие матрицы Aᵢ: I, H, B, I, M, aᵀ. Поэтому для любых двух объектов из списка
Cov(Vᵢ,Vⱼ|X)=σ²AᵢAⱼᵀ.
Это задаёт все 36 блоков, включая диагональные. Для полной матрицы сложите I,H,B,I,M,aᵀ вертикально в C; ковариация объединённого вектора равна σ²CCᵀ.
Диагональные блоки
Var(y|X)=σ²I; Var(ŷ|X)=σ²H; Var(β̂|X)=σ²(XᵀX)⁻¹; Var(u|X)=σ²I; Var(û|X)=σ²M; Var(ȳ|X)=σ²/n.
Несколько важных взаимных блоков
Cov(y,ŷ|X)=σ²H; Cov(y,û|X)=σ²M; Cov(β̂,u|X)=σ²B. Из HM=0 и BM=0 следуют Cov(ŷ,û|X)=0 и Cov(β̂,û|X)=0.
В общем случае Cov(ȳ,û|X)=σ²aᵀM. Если константа входит в пространство X, этот блок нулевой. Нулевая ковариация сама по себе не доказывает независимость; для такого вывода требуется дополнительная совместная нормальность, которой в исходных предпосылках нет.
Борис Демешев и участники · Исходное задание · CC BY 4.0. Полный ответ выведен редакцией.