Вопрос
Как связаны энтропия и дисперсия у равномерного, экспоненциального и нормального распределений?
Ответ источника
Энтропия линейно зависит от логарифма дисперсии.
Равномерное распределение
Для U[0,a]: h=ln a, Var=a²/12. Значит, h=(1/2)ln Var+(1/2)ln12.
Экспоненциальное
Для Exp(λ): h=1−lnλ, Var=1/λ². Поэтому h=1+(1/2)ln Var.
Нормальное
Для N(μ,σ²): h=(1/2)ln(2πeσ²)=(1/2)ln Var+(1/2)ln(2πe).
Что общего
Во всех трёх фиксированных shape-семействах масштабирование случайной величины увеличивает дисперсию в квадрат масштаба, а дифференциальную энтропию — на логарифм масштаба. Поэтому коэффициент перед ln Var равен 1/2.
Это не универсальная формула для любых распределений с одной и той же дисперсией: среди распределений с фиксированной дисперсией нормальное максимизирует дифференциальную энтропию.
Борис Демешев и участники · mlearn_pro, задача 86 · CC BY 4.0. Качественный ответ сохранён; три точные формулы дополнены.