Условие
X∼Bernoulli(p). Постройте зависимости индекса Джини и энтропии от p, исследуйте монотонность и выпуклость, найдите максимум.
Формулы
G(p)=1−p²−(1−p)²=2p(1−p).
H(p)=−p ln p−(1−p)ln(1−p), с предельным соглашением 0ln0=0.
Монотонность
G′=2−4p и H′=ln[(1−p)/p]. Обе функции растут на (0,1/2), имеют нулевую производную при 1/2 и убывают на (1/2,1).
Вогнутость
G″=−4<0. Для 0<p<1, H″=−1/p−1/(1−p)<0. Поэтому обе функции вогнуты, а не выпуклы.
Максимумы
При p=1/2 G=1/2, H=ln2. На границах p=0 и p=1 обе характеристики равны нулю: исход становится детерминированным.
Борис Демешев и участники · mlearn_pro, задача 80 · CC BY 4.0. Формула Gini и максимум ключа сохранены; производные добавлены.