Кросс-энтропия усредняет отрицательный логарифм одной плотности по другой. Порядок аргументов важен: распределение p задаёт, по каким значениям берётся среднее, а q — оцениваемую плотность.
H(P,Q)=−E_P log q(X)
Условие и соглашения
Пусть p — плотность Exp(λ₁), q — плотность Exp(λ₂), обе интенсивности положительны. Найдите CE(p, q), опишите линии уровня в плоскости параметров и график по λ₂ при фиксированном λ₁, определите минимум.
Используются натуральные логарифмы и одни и те же единицы измерения переменной. В источнике решение не заполнено; ниже — редакционный вывод.
Расчёт кросс-энтропии
На x ≥ 0 плотность q(x) = λ₂e−λ₂x. Поэтому −ln q(x) = −ln λ₂ + λ₂x. При X ∼ p среднее X равно 1/λ₁:
CE(p, q) = −Ep[ln q(X)] = −ln λ₂ + λ₂/λ₁.
Поменяв p и q местами, мы получили бы −ln λ₁ + λ₁/λ₂ — в общем другое значение. Кросс-энтропия не симметрична.
График при фиксированном λ₁
Первая производная по λ₂ равна −1/λ₂ + 1/λ₁, вторая — 1/λ₂² > 0. Поэтому график строго выпуклый, убывает до λ₂ = λ₁ и возрастает после этой точки. При λ₂ → 0+ и при λ₂ → ∞ значение стремится к +∞.
Минимум достигается при λ₂ = λ₁ и равен 1 − ln λ₁.
Для построения, например при λ₁ = 1, можно использовать точки:
| λ₂ | CE(p, q) |
|---|---|
| 1/4 | ln 4 + 1/4 ≈ 1,6363 |
| 1/2 | ln 2 + 1/2 ≈ 1,1931 |
| 1 | 1 |
| 2 | 2 − ln 2 ≈ 1,3069 |
| 4 | 4 − ln 4 ≈ 2,6137 |
Линии уровня
Для заданного значения c уравнение уровня имеет вид −ln λ₂ + λ₂/λ₁ = c. Выразим первый параметр через второй:
λ₁ = λ₂/(c + ln λ₂), λ₂ > e−c.
Это параметрическое описание всей линии уровня в положительной плоскости: перебираем допустимые λ₂ и вычисляем λ₁. При приближении λ₂ к e−c сверху знаменатель стремится к нулю и λ₁ растёт без ограничения.
Минимальное значение λ₁ на этой линии достигается, когда c + ln λ₂ = 1, то есть при λ₁ = λ₂ = e1−c. Эти условия и явная формула задают форму кривой для её построения.
Связь с KL-дивергенцией
Редакционное дополнение: собственная дифференциальная энтропия p равна 1 − ln λ₁. Разность кросс-энтропии и этой энтропии:
DKL(p || q) = ln(λ₁/λ₂) + λ₂/λ₁ − 1.
Положив u = λ₂/λ₁, получаем u − 1 − ln u ≥ 0 с равенством только при u = 1. Это второй способ проверить минимум. Сама дифференциальная кросс-энтропия может быть отрицательной; неотрицательной обязана быть указанная KL-дивергенция, а не каждый отдельный энтропийный член.
Параметр экспоненциального распределения · Математика.
Б. Демешев и участники · probability_pro, 24.4 · CC BY 4.0. Условие адаптировано; решение и проверка через KL добавлены.