Задача
Истинные метки y=(1,1,0,0), прогнозные вероятности p=(0,9;0,6;0,2;0,8). Вычислите binary cross-entropy.
Формула
L=−(1/n)Σ[yᵢlnpᵢ+(1−yᵢ)ln(1−pᵢ)].
Четыре вклада
−ln0,9≈0,10536; −ln0,6≈0,51083; для отрицательного объекта с p=0,2 получаем −ln0,8≈0,22314; для последнего p=0,8 — −ln0,2≈1,60944.
Среднее:
L≈(0,10536+0,51083+0,22314+1,60944)/4≈0,61219.
Почему последний вклад большой
Модель дала 80% вероятности положительного класса там, где y=0. Вероятность правильного класса всего 0,2, и логарифмический штраф быстро растёт при приближении этой вероятности к нулю.
Accuracy при пороге 0,5 дала бы 3 правильных ответа из 4, то есть 0,75. Она не показывает, насколько уверенной была ошибка. Log-loss использует всю вероятностную шкалу.
Редакционная практика по binary cross-entropy из открытого mlearn_pro · CC BY 4.0.