Задача
Корневой узел содержит 50 объектов класса 1 и 50 класса 0. Split создаёт детей (40,10) и (10,40). Найдите entropy information gain.
До split
H_parent=−2·0,5ln0,5=ln2≈0,693147.
После split
Оба ребёнка имеют proportions 0,8 и 0,2, поэтому
H_child=−0,8ln0,8−0,2ln0,2≈0,500402.
Оба содержат по 50 объектов, weighted entropy тоже 0,500402.
Information gain
IG≈0,693147−0,500402=0,192745 nat.
Что измеряет gain
Разбиение полезно, потому что каждый дочерний узел чище родителя, хотя один предпочитает класс 1, другой класс 0. Направление majority не влияет на entropy — важна концентрация распределения.
Редакционная практика по decision trees в тематике mlearn_pro · CC BY 4.0.