Задача
Сравните Brier score и log-loss для y=(1,1,0,0), p=(0,9;0,6;0,2;0,8).
Brier score
B=(1/4)Σ(pᵢ−yᵢ)²
=[0,01+0,16+0,04+0,64]/4=0,2125.
Log-loss
Из той же выборки binary cross-entropy составляет приблизительно 0,6122.
Разные шкалы
Числа нельзя сравнивать как «0,21 лучше 0,61» между разными функциями: у них разные шкалы. Сравнивают модели внутри одной выбранной loss.
Уверенные ошибки
Обе функции proper: в ожидании они поощряют сообщение истинной вероятности. Но log-loss стремится к бесконечности, если модель присваивает правильному классу вероятность, близкую к нулю. Brier ограничен для бинарной вероятности и штрафует квадратично.
Выбор scoring rule зависит от задачи и отношения к экстремальным ошибкам; accuracy не является заменой вероятностному scoring rule.
Редакционная практика по вероятностным потерям mlearn_pro · CC BY 4.0.