Задача
Три корзины одинакового размера имеют средний прогноз confidence 0,2; 0,5; 0,8. Фактическая доля единиц в них 0,1;0,6;0,7. Найдите expected calibration error.
Формула
ECE=Σ_b (n_b/n)|acc_b−conf_b|.
Расчёт
Абсолютные ошибки всех трёх bins равны 0,1. Вес каждой — 1/3. Поэтому
ECE=(1/3)(0,1+0,1+0,1)=0,1.
Направление ошибки
Первая и третья корзины переуверены: confidence выше наблюдаемой частоты. Средняя корзина недоуверена: фактическая доля единиц 0,6 выше 0,5.
Ограничения ECE
Значение зависит от способа разбиения на bins. Другая сетка может дать другой ECE для тех же прогнозов. Поэтому метрика не является полностью инвариантной характеристикой калибровки.
Нулевая ECE на грубых bins также не означает идеальной индивидуальной калибровки. Для диагностики используют reliability diagram, Brier decomposition и другие методы.
Редакционная практика по калибровке вероятностей в тематике mlearn_pro · CC BY 4.0.