dQ=−2(y−Xb)ᵀX db; XᵀXβ̂=Xᵀy
Условие
Для Q(b)=(y−Xb)ᵀ(y−Xb) найдите первый и второй дифференциалы, условия минимума и b̂. Затем рассмотрите X=[z,x] и явно выпишите Xᵀ, Xᵀy, XᵀX, yᵀX, yᵀz, их размеры и нормальные уравнения. Упростите систему при z=1.
Ответ источника
dQ=−2(y−Xb)ᵀXdb; d²Q=2dbᵀXᵀXdb. Нормальные уравнения: XᵀXb̂=Xᵀy. При обратимости XᵀX b̂=(XᵀX)⁻¹Xᵀy.
Для двух столбцов: b̂₁Σzᵢ²+b̂₂Σxᵢzᵢ=Σzᵢyᵢ и b̂₁Σxᵢzᵢ+b̂₂Σxᵢ²=Σxᵢyᵢ. При zᵢ=1 первое уравнение становится nb̂₁+b̂₂Σxᵢ=Σyᵢ, второе — b̂₁Σxᵢ+b̂₂Σxᵢ²=Σxᵢyᵢ.
Редакционное раскрытие размеров
X имеет размер n×2; Xᵀ — 2×n с рядами zᵀ и xᵀ. Xᵀy=(Σzy,Σxy)ᵀ имеет размер 2×1, yᵀX — его транспонированная строка 1×2. Матрица XᵀX=[[Σz²,Σzx],[Σzx,Σx²]] имеет размер 2×2. yᵀz=Σyz — скаляр.
При полном столбцовом ранге X квадратичная форма dbᵀXᵀXdb положительна для любого ненулевого db, поэтому минимум единственен. Если столбцы зависимы, нормальные уравнения сохраняют смысл, но запись с обычной обратной матрицей неприменима; единственность коэффициентов не следует из условия.
Индекс транспонирования важен: Xy обычно даже не согласован по размерам, тогда как Xᵀy является нужной правой частью. Геометрическая форма нормальных уравнений — Xᵀ(y−Xb̂)=0: остаток ортогонален каждому столбцу X.
Борис Демешев и участники · Дифференциалы, два регрессора · CC BY 4.0. Задания объединены; пояснения добавлены.