Условие
Каждое событие X=k разбили на два равновероятных подсобытия с вероятностями p_k/2. Как изменятся энтропия, perplexity и индекс Джини?
Ответ источника
Все три характеристики увеличатся.
Точная прибавка энтропии
Новая энтропия:
−Σ_k 2(p_k/2)ln(p_k/2)=−Σp_k ln p_k + ln2.
Поэтому H_new=H_old+ln2.
Perplexity
exp(H_new)=2exp(H_old): эффективное число категорий ровно удваивается.
Gini
Сумма квадратов вероятностей меняется с Σp_k² на Σ2(p_k/2)²=(1/2)Σp_k². Поэтому
I_new=1−(1/2)Σp_k², что больше I_old=1−Σp_k² для любого настоящего распределения.
Изменились метки исходов, но не была добавлена неопределённость «внутри» каждого старого события из внешнего источника: она специально создана равновероятным разделением, что и даёт ровно один дополнительный бит при логарифме по основанию 2.
Борис Демешев и участники · mlearn_pro, задача 78 · CC BY 4.0. Качественный ответ сохранён; точные изменения выведены.