Условие
a(x)=αe⁻ᵅˣ, b(x)=βe⁻ᵝˣ на x≥0. Найдите h(a), перекрёстную энтропию H(b,a), её минимум по α и докажите максимальность a среди плотностей со средним 1/α.
Решение по шагам
h(a)=−Eₐ[lnα−αX]=1−lnα. Для b перекрёстная энтропия H(b,a)=−lnα+α/β. Производная по α равна −1/α+1/β, минимум при α=β; вторая производная 1/α² положительна.
Для любой плотности c на [0,∞) со средним 1/α имеем H(c,a)=−lnα+αEсX=1−lnα. Из KL(c||a)=H(c,a)−h(c)≥0 следует h(c)≤1−lnα. Равенство только при c=a почти всюду. Сравниваются плотности с одинаковым средним и корректно определённой энтропией.
Проверка результата
Единицы измерения влияют на дифференциальную энтропию, но не на неотрицательность KL и условие равенства.
Типичная ошибка
Перепутать порядок аргументов перекрёстной энтропии: среднее берётся по её первому распределению.
Что даёт этот метод
Фиксированный момент делает перекрёстную энтропию константой и превращает KL в оценку энтропии.
Дальше по теме
Университетские задачи по вероятности.
Следующие разборы
- ВШЭ, вероятность: максимум энтропии на отрезке и при заданной дисперсии
- ВШЭ, КНАД: декабрьская контрольная 2024, полный разбор
Условие адаптировано из открытого источника: Борис Демешев, hse_knad_probability_2024_2025, HA6Q3. Решение, объяснение и проверка изложены редакцией damirock.com; это не официальный ключ преподавателя. CC0 1.0. Вёрстка и обозначения адаптированы; числовые предпосылки указаны в условии.