Условие
X=0 при вероятностях (0,2;0,2;0,1) для Y=1,2,3; X=1 при (0,5;0;0). Найдите H(X), H(Y), H(X,Y), H(Y|X) и максимально возможную H(Y). Логарифмы по основанию 2.
Решение по шагам
Маргинальное X равновероятно, H(X)=1 бит. Y имеет вероятности 0,7;0,2;0,1, поэтому H(Y)=−Σp log₂p≈1.156779649. Совместные ненулевые массы 0,2;0,2;0,1;0,5 дают H(X,Y)≈1.760964047.
Цепное правило H(Y|X)=H(X,Y)−H(X)≈0.760964047. Непосредственно: при X=0 распределение Y=(0,4;0,4;0,2), а при X=1 Y=1 детерминировано. Половина энтропии первого распределения даёт тот же результат.
Для трёх значений максимум H(Y)=log₂3≈1,584963 бит, достигаемый при равных вероятностях.
Проверка результата
Нулевые массы вносят 0 по пределу p log p. H(Y|X)≤H(Y); знание X уменьшает неопределённость.
Типичная ошибка
Усреднять условные энтропии с равными весами при неравных вероятностях условий или смешивать биты и натуральные логарифмы.
Что даёт этот метод
Сначала получите маргинальные распределения, затем примените цепное правило.
Дальше по теме
Университетские задачи по вероятности.
Следующие разборы
- Петербургская лотерея: бесконечное среднее и потолок выплаты
- ВШЭ, ПМИ: контрольная «Альфа» 2024, все шесть задач
Условие адаптировано из открытого источника: Борис Демешев, hse_pmi_probability_2024_2025, HA7Q1. Решение, объяснение и проверка изложены редакцией damirock.com; это не официальный ключ преподавателя. CC0 1.0. Вёрстка и обозначения адаптированы; числовые предпосылки указаны в условии.