Условие
Докажите максимум дифференциальной энтропии для U(0,1) среди плотностей на [0,1] и для N(0,1) среди плотностей со средним 0 и дисперсией 1. Используйте натуральные логарифмы.
Решение по шагам
Для плотности f на [0,1] KL(f||1)=∫f ln f≥0. Значит h(f)=−∫f ln f≤0; равенство при f=1 почти всюду. Дифференциальная энтропия может быть нулевой или отрицательной.
Для стандартной нормали φ(x)=(2π)⁻¹/²e⁻ˣ²/² имеем −∫f ln φ=(1/2)ln(2π)+(1/2)EX²=(1/2)ln(2πe). Поэтому KL(f||φ)=−h(f)+(1/2)ln(2πe)≥0, откуда h(f)≤(1/2)ln(2πe). Равенство только при f=φ почти всюду.
Нужно рассматривать плотности, для которых выражения корректно определены; если энтропия равна −∞, верхняя оценка всё равно выполняется.
Проверка результата
Обе заявленные плотности нормированы и достигают границы. У нормали использовано именно фиксированное EX²=1.
Типичная ошибка
Максимизировать энтропию без ограничения носителя или дисперсии: тогда конечного максимума обычно нет.
Что даёт этот метод
Сравнение с подходящей плотностью через неотрицательность KL даёт одновременно оценку и условие равенства.
Дальше по теме
Университетские задачи по вероятности.
Следующие разборы
- ВШЭ, вероятность: экспоненциальный закон максимизирует энтропию при заданном среднем
- ВШЭ, КНАД: декабрьская контрольная 2024, полный разбор
Условие адаптировано из открытого источника: Борис Демешев, hse_pmi_probability_2024_2025, HA7Q2. Решение, объяснение и проверка изложены редакцией damirock.com; это не официальный ключ преподавателя. CC0 1.0. Вёрстка и обозначения адаптированы; числовые предпосылки указаны в условии.