DamiRocK

Elastic net в ортонормированном случае: soft-threshold плюс ridge shrinkage

Для 0,5(β−z)^2+λ1|β|+0,5λ2β² решение sign(z)max(|z|−λ1,0)/(1+λ2).

Задача

Минимизируйте

Q(β)=0,5(β−z)²+λ₁|β|+0,5λ₂β², λ₁,λ₂≥0.

Положительная область

При β>0 derivative=(β−z)+λ₁+λ₂β=0. Кандидат (z−λ₁)/(1+λ₂), если z>λ₁.

Отрицательная область

При β<0 кандидат (z+λ₁)/(1+λ₂), допустимый при z<−λ₁.

Ответ

β̂=sign(z)·max(|z|−λ₁,0)/(1+λ₂).

Два штрафа

L1 создаёт точное зануление через threshold λ₁. L2 дополнительно уменьшает оставшиеся коэффициенты в factor 1/(1+λ₂).

В многомерном неортогональном design координаты связаны; простая формула применяется внутри coordinate descent к соответствующему partial residual.

Редакционная практика по elastic net в тематике mlearn_pro · CC BY 4.0.

Reading preferences

Appearance
Contrast
More options

Saved only in this browser. Your device’s reduced-motion setting is always respected. Browser zoom works throughout the site.