Условие
X и Y независимы, V=(X,Y). Как связаны энтропии V, X и Y?
Ответ источника
H(V)=H(X)+H(Y).
Дискретное доказательство
При независимости p(x,y)=p_X(x)p_Y(y). Поэтому −Σp(x,y)ln p(x,y) распадается на сумму двух слагаемых; суммирование по другой переменной даёт единицу.
Непрерывный вариант
Если существует совместная плотность и дифференциальные энтропии конечны, та же факторизация f(x,y)=f_X(x)f_Y(y) даёт h(X,Y)=h(X)+h(Y).
Связь с взаимной информацией
В общем случае I(X;Y)=H(X)+H(Y)−H(X,Y) для дискретных величин. Независимость эквивалентна нулевой взаимной информации при обычных условиях. Для зависимых X,Y совместная энтропия уже не обязана быть суммой маргинальных.
Борис Демешев и участники · mlearn_pro, задача 84 · CC BY 4.0. Формула источника сохранена; доказательство добавлено.