H=X(XᵀX)⁻¹Xᵀ; H²=H; Hᵀ=H
Условия источника
Найдите H, ŷ, SSR, ESS и TSS: 1) регрессия только на константу, n=10; 2) константа и x при n=3, xᵢ=i, yᵢ=i²; 3) n=15, yᵢ=i, первые пять x равны 0, остальные 1; 4) те же данные, но индикатор заменён на противоположный.
В источнике ответ не заполнен. Далее — редакционное решение. Jm обозначает матрицу m×m, заполненную единицами.
Только константа
H=J₁₀/10, ŷ=ȳ1, SSR=TSS=Σ(yᵢ−ȳ)², ESS=0. Числа y в первом пункте не заданы, поэтому численный ответ для суммы квадратов невозможен.
Три точки параболы
Для y=(1,4,9)ᵀ получаем H=(1/6)[[5,2,−1],[2,2,2],[−1,2,5]]. Коэффициенты (−10/3,4), прогнозы (2/3,14/3,26/3), остатки (1/3,−2/3,1/3).
SSR=2/3; TSS=98/3; ESS=32. Сумма двух последних компонент разложения действительно даёт TSS.
Пятнадцать наблюдений с индикатором
В обеих версиях H=diag(J₅/5,J₁₀/10). Прогнозы первых пяти наблюдений равны 3, остальных — 10,5. Для исходного индикатора свободный член 3, наклон 7,5; для противоположного — 10,5 и −7,5.
TSS=280; SSR=185/2; ESS=375/2. Внутри первой группы сумма квадратов отклонений равна 10, во второй — 82,5. Замена кодирования не меняет пространство регрессоров, прогнозы и качество подгонки.
Проверка матрицы
Во всех случаях Hᵀ=H и H²=H. След H равен числу независимых регрессоров: 1 в первом пункте и 2 в остальных. Эти свойства дают дополнительную проверку вычислений.
Борис Демешев и участники · Исходные четыре задания · CC BY 4.0. Решение редакции; численные матрицы проверены.