Условия двух связанных задач
Минимизируется Q(b)=‖y−Xb‖²+λbᵀb при λ>0. Найдите дифференциалы, оптимальные коэффициенты и пределы при исчезновении и росте штрафа. Для стандартизированных X и центрированного y дополнительно задана модель y=Xβ+u, E(u|X)=0, Var(u|X)=σ²I; найдите ожидание и ковариационную матрицу оценки.
Формулы источника
b̂=(XᵀX+λI)⁻¹Xᵀy. Первый дифференциал равен [−2(y−Xb)ᵀX+2λbᵀ]db, второй — 2dbᵀ(XᵀX+λI)db.
Обозначив Aλ=(XᵀX+λI)⁻¹, получаем E(b̂|X)=AλXᵀXβ, Var(b̂|X)=σ²AλXᵀXAλ. Эти выражения приведены в ключе.
Пределы и редакционное уточнение
При λ→∞ коэффициенты, их ожидание и ковариация стремятся к нулю. В одной строке источника рядом с этим пределом ошибочно повторено выражение обычного МНК; оно в общем случае не равно нулю. Здесь сохраняется корректный предел, без этого равенства.
При λ→0 и обратимой XᵀX ridge переходит в МНК; ожидание стремится к β, ковариация — к σ²(XᵀX)⁻¹. Если X имеет неполный ранг, обычная формула МНК с обратной матрицей не существует; такой случай требует отдельного описания предела.
Почему возникает смещение
AλXᵀX=I−λAλ, поэтому условное смещение равно −λAλβ. Уменьшение дисперсии не означает несмещённость или автоматическое улучшение любого критерия. В заданной функции штрафуются все компоненты b; исключение свободного члена из штрафа было бы другой матрицей регуляризации.
Борис Демешев и участники · Вывод оценки, моменты и пределы · CC BY 4.0. Задачи объединены; опечатка отмечена.