Условие
Регрессоры стандартизированы, y центрирован. Боб минимизирует ‖y−Xb‖²+λbᵀb. Алиса хочет добавить искусственные наблюдения и оценить обычный МНК на расширенном наборе. Какие наблюдения дадут те же коэффициенты?
Ответ источника
Добавьте нулевые отклики и матрицу признаков √λ I. Если исходно X имеет k столбцов, добавляются k строк.
Редакционная проверка
Расширенные данные: Xₐ=[X;√λI_k], yₐ=[y;0_k]. Тогда
‖yₐ−Xₐb‖²=‖y−Xb‖²+‖−√λb‖²=‖y−Xb‖²+λbᵀb.
Функции, которые минимизируют Боб и Алиса, совпадают при любом b. Кроме того, XₐᵀXₐ=XᵀX+λI и Xₐᵀyₐ=Xᵀy, поэтому обычная формула МНК на расширенной матрице возвращает ridge.
Что означает одна искусственная строка
В строке j единственный ненулевой признак равен √λ на позиции j, отклик равен нулю. Её квадрат остатка — λbⱼ². Сумма таких строк создаёт штраф по всем коэффициентам.
Ограничения интерпретации
Эти строки — алгебраическое представление регуляризации, не новые независимые измерения. Нельзя автоматически увеличивать число реальных наблюдений и применять к ним обычный расчёт статистической точности как к свежим данным.
Если свободный член не нужно штрафовать, соответствующая искусственная строка должна отсутствовать или иметь нулевой штраф. В исходном задании штрафуется весь вектор b; изменение этой договорённости надо задавать явно.
Борис Демешев и участники · Исходная задача и ответ · CC BY 4.0. Конструкция сохранена; проверка и ограничения добавлены.