Условие
Есть 20 объектов категории A, 40 категории B, 2 категории C и 8 категории D. После split все 40 B попадают в отдельный узел, остальные 30 — во второй. Как меняются Gini impurity и entropy?
До разбиения
G=1−(20/70)²−(40/70)²−(2/70)²−(8/70)²=708/1225≈0,577959.
H≈1,033803 нат.
После разбиения
Чистый B-узел имеет G=H=0. Во втором узле доли 20/30,2/30,8/30.
G_R=0,48, поэтому weighted Gini=(30/70)·0,48=0,205714.
Entropy второго узла ≈0,803315, weighted entropy=(30/70)·H_R≈0,344278.
Сравнение с ключом
Источник округляет исходные значения до 0,58 и 1,03, итоговые до 0,21 и примерно 0,34. Точный пересчёт подтверждает направление и близкие числа.
Impurity после split считается как взвешенное среднее impurity дочерних узлов, а не энтропия нового бинарного признака «B / не B».
Борис Демешев и участники · mlearn_pro, задача 90 · CC BY 4.0. Вычисления ключа сохранены и уточнены.