Вопрос
Может ли при разбиении узла на два вырасти взвешенный индекс Джини? А взвешенная энтропия?
Ответ источника
Нет для обеих характеристик.
Правильная причина
Пусть распределения классов в дочерних узлах p_L и p_R, а их веса λ и 1−λ. Родительское распределение p=λp_L+(1−λ)p_R.
Gini G(p)=1−Σp_j² и Shannon entropy H(p)=−Σp_j ln p_j являются вогнутыми функциями p. По Jensen:
G(p)≥λG(p_L)+(1−λ)G(p_R),
H(p)≥λH(p_L)+(1−λ)H(p_R).
Исправление ключа
Источник объясняет результат «выпуклостью функций». Направление правильное, но термин неверен: обе impurity-функции вогнуты на симплексе вероятностей.
Когда падения нет
Равенство возможно, например, если дочерние узлы имеют одинаковые распределения классов. Тогда split не несёт информации о метке и weighted impurity остаётся прежней.
Борис Демешев и участники · mlearn_pro, задача 94 · CC BY 4.0. Ответ «нет» сохранён; выпуклость исправлена на вогнутость.