Задача
x и y центрированы. Минимизируется Σ(yᵢ−βxᵢ)²+λβ². Найдите β̂.
Условие первого порядка
−2Sxy+2βSxx+2λβ=0.
Поэтому
β̂_ridge=Sxy/(Sxx+λ).
Связь с OLS
β̂_OLS=Sxy/Sxx, значит
β̂_ridge=[Sxx/(Sxx+λ)]β̂_OLS.
Множитель лежит между 0 и 1 при λ>0.
Пределы
λ→0 возвращает OLS. λ→∞ отправляет коэффициент к нулю.
Масштаб признака
Штраф применяется к числовому коэффициенту, поэтому изменение единиц x меняет влияние одинакового λ. Это одна из причин стандартизировать признаки перед ridge, если штраф должен быть сопоставим.
Редакционная практика по ridge mlearn_pro · CC BY 4.0.