Условие
В дождливый день успех имеет вероятность 0,7, в сухой — 0,1. Дождь бывает 20% дней. Прогнозист независимо рисует метку с соответствующей условной вероятностью. Найдите вероятность ошибки. Затем вычислите weighted Gini для двух узлов: A — 6 и 14 объектов двух классов, B — 8 и 72.
Ошибка прогноза
Для Bernoulli(p) независимая нарисованная метка ошибается с вероятностью 2p(1−p). Поэтому
0,2·2·0,7·0,3 + 0,8·2·0,1·0,9 = 0,228.
Gini двух частей
В A доли 0,3 и 0,7: G_A=0,42. В B доли 0,1 и 0,9: G_B=0,18.
Размеры частей 20 и 80 из 100, поэтому weighted impurity:
0,2·0,42+0,8·0,18=0,228.
Одна и та же структура формулы
Gini бинарного узла равен вероятности несовпадения двух независимых меток из распределения узла. Поэтому weighted Gini и ожидаемая ошибка такого рандомизированного классификатора имеют одинаковую форму.
Это не утверждение, что дерево классификации само делает случайный прогноз: Gini используется как критерий чистоты узла.
Борис Демешев и участники · mlearn_pro, задача 82 · CC BY 4.0. Weighted-Gini идея ключа сохранена; обе величины рассчитаны.