Задача
Минимизируйте по β функцию
Q(β)=(1/2)(β−z)²+λ|β|, λ≥0.
Три области
Если β>0, производная β−z+λ=0, кандидат β=z−λ и он положителен при z>λ.
Если β<0, β−z−λ=0, кандидат β=z+λ, отрицателен при z<−λ.
Если |z|≤λ, минимум достигается в β=0.
Ответ
β̂=sign(z)max(|z|−λ,0).
Отличие от ridge
Ridge плавно уменьшает ненулевой коэффициент, но при конечном λ в одномерной невырожденной задаче не зануляет его точно. L1-штраф имеет излом в нуле и создаёт sparse-решение.
В многомерной коррелированной задаче coordinate-wise soft-thresholding требует учёта остальных признаков; формула здесь относится к ортонормированному/одномерному случаю.
Редакционная практика по L1 regularization в тематике mlearn_pro · CC BY 4.0.