Условие
Есть два совершенно одинаковых стандартизированных регрессора x и x, отклик центрирован. Минимизируется ‖y−b₁x−b₂x‖²+λ(b₁²+b₂²), λ>0. Найдите b̂₁,b̂₂, предел при λ→∞ и предел суммы коэффициентов при λ→0.
Ответ источника
b̂₁=b̂₂=(1/2)(xᵀx+λ/2)⁻¹xᵀy. При λ→∞ оба стремятся к нулю. При λ→0 каждый стремится к половине однопризнаковой оценки МНК, а сумма — к самой этой оценке.
Редакционное объяснение
Прогноз зависит только от s=b₁+b₂. При фиксированном s сумма квадратов коэффициентов минимальна при b₁=b₂=s/2, и минимум равен s²/2. Поэтому задача сводится к ‖y−sx‖²+(λ/2)s².
Обозначим q=xᵀx>0, r=xᵀy. Тогда ŝ=r/(q+λ/2), каждый коэффициент r/(2q+λ). Эти формы совпадают с ключом.
Почему λ=0 особый случай
При нулевом штрафе бесконечно много пар с суммой r/q дают одинаковые прогнозы и остаточную сумму. Положительный штраф выбирает единственную симметричную пару. Поэтому предел ridge при λ→0 определён, хотя коэффициенты обычного МНК с двумя одинаковыми столбцами не уникальны.
Дублирование признака при фиксированном λ не является безразличной операцией для ridge: эффективный штраф на общий коэффициент уменьшается вдвое. Нельзя сравнивать две модели, считая одинаковое числовое λ автоматически одинаковой силой регуляризации.
Борис Демешев и участники · Исходная задача и ответ · CC BY 4.0. Ключ сохранён; объяснение через сумму коэффициентов добавлено.