Задача
В бинарном AdaBoost weak learner имеет weighted error ε=0,2. Найдите его вес α.
Формула
α=(1/2)ln[(1−ε)/ε].
Подстановка
(1−0,2)/0,2=4, поэтому
α=(1/2)ln4=ln2≈0,693147.
Обновление весов
В варианте y,h∈{−1,1}: w_i←w_i exp[−α y_i h_i]. Правильно классифицированный объект умножается на e^{-α}=1/2, ошибочный — на e^{α}=2 до общей нормировки.
Относительно друг друга ошибки получают в 4 раза больший multiplier.
Граница
При ε=0,5 α=0: learner не лучше случайного. При ε>0,5 коэффициент отрицателен; для бинарного классификатора обычно можно инвертировать его ответы и получить error<0,5.
Редакционная практика по boosting в тематике mlearn_pro · CC BY 4.0.