Условие
Для X с вероятностями (0,2;0,8) и Y с вероятностями (0,2;0,3;0,5) найдите индекс Джини I=1−Σp², энтропию H=−Σp ln p и perplexity=e^H.
Ответы источника
Для X: I_X=0,32, H_X≈0,50. Для Y: I_Y=0,62, H_Y≈1,03.
Уточнённые числа
H_X≈0,500402, поэтому perplexity_X≈1,649385.
H_Y≈1,029653, поэтому perplexity_Y≈2,800094.
Интерпретация
Perplexity можно понимать как эффективное число равновероятных категорий с той же энтропией. Для X распределение сильно сосредоточено в одной категории, поэтому значение заметно меньше 2. Для Y масса распределена по трём категориям, и perplexity близка к 3.
Индекс Джини и энтропия используют разные шкалы, поэтому сравнивать их абсолютные числа между собой напрямую не нужно; обе характеристики здесь лишь показывают большее разнообразие Y.
Борис Демешев и участники · mlearn_pro, задача 76 · CC BY 4.0. Ответы ключа сохранены; perplexity вычислена численно.