P_X(y+z)=P_Xy+P_Xz; P_X(cy)=cP_Xy
Три задания
1. Найдите МНК-оценки в модели yᵢ=α+βyᵢ+uᵢ. 2. Для регрессий yᵢ=α+β(yᵢ+zᵢ)+uᵢ и zᵢ=γ+δ(yᵢ+zᵢ)+vᵢ установите связи коэффициентов. 3. Сравните коэффициенты регрессий y на константу и x и z на константу и x при z=2y.
Ответы сборника
1) α̂=0, β̂=1. 2) α̂+γ̂=0, β̂+δ̂=1. 3) γ̂=2α̂, δ̂=2β̂.
Редакционное объяснение
В первом случае нулевой свободный член и единичный наклон дают нулевые остатки. Сумма квадратов не может быть отрицательной, поэтому это минимум.
Во втором случае складываются прогнозы двух регрессий с одинаковой матрицей признаков. По линейности МНК получается прогноз суммы y+z по самой себе. Его коэффициенты равны 0 и 1, что даёт указанные связи.
Для третьего случая умножение отклика на 2 умножает оценки на 2: β̂=(XᵀX)⁻¹Xᵀy, а для 2y результат равен 2β̂. Аналогично удваиваются прогнозы и остатки; сумма квадратов остатков увеличивается в четыре раза.
Условия единственности
Для однозначного вывода о коэффициентах нужен полный столбцовый ранг матрицы регрессоров. Если y постоянно в первом задании, есть целое семейство α+βy=y. Если y+z постоянно во втором, отдельные свободные члены и наклоны не определяются единственным образом. Эти вырожденные случаи в кратком ключе не разобраны; здесь ограничение указано явно.
Борис Демешев и участники · metrics_pro, три последовательных задания · CC BY 4.0. Ответы объединены; объяснение и оговорки добавлены.