Ridge для среднего 6, 6, 10: λ через leave-one-out CV

Условие

Наблюдения y=(6,6,10), модель yᵢ=μ+uᵢ. Минимизируется Σ(yᵢ−μ̂)²+λμ̂². Найдите оценку при λ=0, общую формулу, λ по leave-one-out CV и итоговый прогноз.

Полная выборка

FOC: −2Σ(yᵢ−μ)+2λμ=0. Поэтому

μ̂_λ=22/(3+λ).

При λ=0: μ̂=22/3≈7,3333 — ответ источника.

LOOCV-прогнозы

Если выбросить первую или вторую шестёрку, сумма двух оставшихся равна 16, поэтому прогноз 16/(2+λ). Если выбросить 10, прогноз 12/(2+λ).

CV-RSS:

2[6−16/(2+λ)]²+[10−12/(2+λ)]².

Замена из ключа

Положим t=4/(2+λ). Тогда прогнозы равны 4t и 3t, а критерий становится 2(6−4t)²+(10−3t)².

Минимум по t: 82t−156=0, значит t=78/41. Отсюда λ_CV=4/39 — ровно ответ источника.

Финальная оценка

μ̂=22/(3+4/39)=858/121≈7,090909.

CV выбирает небольшой положительный штраф: он немного сжимает среднее к нулю, потому что это уменьшает leave-one-out squared error для данной тройки.

Борис Демешев и участники · mlearn_pro, задача 111 · CC BY 4.0. λ_CV и структура ключа сохранены; промежуточная опечатка критерия нормализована.