Условие
В выборке 900 объектов класса 0 и 100 класса 1. Единственный признак одинаков у всех, поэтому модель обязана выдавать одну вероятность b∈[0,1] каждому наблюдению. Найдите b, минимизирующее четыре эмпирические функции потерь.
Квадратичная потеря
Q(b)=[900b²+100(1−b)²]/1000. Производная обращается в ноль при b=0,1. Это эмпирическая доля положительного класса.
Абсолютная потеря
На [0,1] Q(b)=[900b+100(1−b)]/1000=0,1+0,8b. Минимум при b=0. Абсолютная потеря выбирает медиану бинарного отклика, а не его среднее.
Логарифмическая потеря
Правильный критерий Q(b)=−[900ln(1−b)+100ln b]/1000. Он минимален при b=0,1. В исходном тексте решения перед 100ln b потерян знак минус; производная и итог b=0,1 соответствуют именно исправленной формуле.
Обратная потеря
Q(b)=[900/(1−b)+100/b]/1000. В исходном ключе между членами напечатан минус, но по определению потери они складываются. Условие 900/(1−b)²=100/b² даёт b=0,25.
Вывод
Один и тот же набор меток при отсутствии информативных признаков приводит к разным оптимальным константам в зависимости от функции потерь. Поэтому числовой выход классификатора нельзя автоматически интерпретировать как калиброванную вероятность без свойства самой потери.
Борис Демешев и участники · mlearn_pro, задача 21 · CC BY 4.0. Четыре ответа сохранены; два знака в промежуточных формулах исправлены явно.