Формула
Для метки y∈{−1,1} и score f(x) signed margin равен m=yf(x). Hinge loss:
L=max(0,1−m).
Четыре значения
| m | Hinge loss | Смысл |
|---|---|---|
| 2 | 0 | Правильно и за margin |
| 1 | 0 | На границе margin |
| 0 | 1 | На решающей границе |
| −1 | 2 | Неправильная сторона |
Почему правильный класс ещё может штрафоваться
Если 0<m<1, знак прогноза уже правильный, но объект лежит внутри margin. Hinge loss положительна и SVM продолжает увеличивать запас.
Производная
При m<1 производная loss по m равна −1; при m>1 — 0. В точке 1 функция не дифференцируема, но имеет субградиенты между −1 и 0.
0–1 loss и hinge loss решают разные оптимизационные задачи; hinge служит выпуклым surrogate, а не вероятностью ошибки.
Редакционная практика по SVM-разделу mlearn_pro · CC BY 4.0.