Условие
x=(0,0,0,1,1), z=(1,2,3,3,5), y=(0,1,1,0,0). Постройте дерево по минимизации weighted Gini до идеальной классификации.
Ответ источника
Сначала x>0,5, затем z>1,5.
Первый split
При x>0,5 два наблюдения сразу образуют чистый класс 0. В группе x=0 остаются метки (0,1,1): Gini=1−(1/3)²−(2/3)²=4/9.
Weighted impurity после первого split = (3/5)(4/9)=4/15≈0,2667, тогда как корень с тремя нулями и двумя единицами имеет Gini=12/25=0,48.
Второй split
В узле x=0 условие z>1,5 отделяет две единицы z=2,3 от нуля z=1. Оба новых листа чистые, итоговый weighted Gini равен 0.
Порог можно записывать эквивалентно как z<1,5 для противоположной ориентации ветвей. Существенно разбиение наборов наблюдений, а не название «левая/правая».
Борис Демешев и участники · mlearn_pro, задача 100 · CC BY 4.0. Оба split источника сохранены; Gini рассчитан.