D_KL(p||q)=−E_p ln(q/p) ≥ −ln E_p(q/p) ≥ 0
Задание
Докажите неотрицательность дивергенции Кульбака — Лейблера между истинным распределением p и аппроксимирующим q.
Формула источника
D_KL(p||q)=Σ_x p(x) ln[p(x)/q(x)] = −Σ_x p(x) ln[q(x)/p(x)].
Jensen
Функция −ln z выпукла. Поэтому при q(x)>0 на поддержке p:
D_KL(p||q) ≥ −ln[Σ_x p(x) q(x)/p(x)].
Если суммирование идёт по общей поддержке нормированных распределений, выражение в скобках равно Σq(x)=1, и
D_KL(p||q)≥−ln1=0.
Поддержка
Если существует x с p(x)>0, но q(x)=0, соответствующий член даёт +∞, так что неотрицательность сохраняется. Если q имеет массу вне поддержки p, Jensen-выражение Σ_{p>0}q≤1, что также не нарушает нижнюю границу.
Когда равенство
Строгость Jensen показывает: при обычных условиях D_KL(p||q)=0 тогда и только тогда, когда p=q почти всюду.
Направление имеет значение
D_KL(p||q) и D_KL(q||p) вообще различны, хотя обе дивергенции неотрицательны, когда определены. Формулировка текста источника использует слова «из аппроксимирующего q в истинное p», а записанное доказательство — convention D_KL(p||q); здесь это различие указано явно.
Борис Демешев и участники · mlearn_pro, задача 128 · CC BY 4.0. Jensen-доказательство источника сохранено; направление KL уточнено.