DamiRocK

Почему 0,9−arctan(M)/π не является верхней границей 0–1 loss

Проверяем предложенную гладкую функцию потерь на больших отрицательных margin. Она стремится к 1,4, но при M=0 и некоторых областях не доминирует нужную пороговую потерю согласно принятой границе.

Вопрос источника

Предложена гладкая функция L̃(M)=0,9−arctan(M)/π, где M=y⟨w,x⟩. Является ли она верхней границей пороговой классификационной потери для всех M?

Ответ источника

Нет: не выполнено L̃(M)≥L(M) для всех M.

Проверка около границы

Для стандартной 0–1 margin-потери обычно L(M)=1 при M≤0 и 0 при M>0. В точке M=0 предложенная функция равна 0,9, что уже меньше 1. Следовательно, верхней границей она не является.

Поведение на концах

При M→+∞ arctan M→π/2 и L̃→0,4; при M→−∞ L̃→1,4. Функция гладкая и убывающая, но одного этого недостаточно для surrogate upper bound.

Зачем требуется верхняя граница

Удобные выпуклые или гладкие surrogate-потери часто заменяют дискретную 0–1 loss в оптимизации. Их свойства нужно проверять по определению: гладкость сама по себе не гарантирует ни верхнюю оценку, ни классификационную калибровку.

Борис Демешев и участники · mlearn_pro, задача 22 · CC BY 4.0. Ответ источника сохранён; контрпример M=0 добавлен.

Reading preferences

Appearance
Contrast
More options

Saved only in this browser. Your device’s reduced-motion setting is always respected. Browser zoom works throughout the site.