Условие
Для дискретных величин с конечной энтропией проверьте: H(X,Y)=H(X)+H(Y|X); H(X,Y)≥H(X); H(X²)=H(X).
Решение по шагам
Цепное правило верно: p(x,y)=p(x)p(y|x), логарифм произведения разделяет совместную сумму на H(X) и H(Y|X). Условная дискретная энтропия неотрицательна, поэтому H(X,Y)≥H(X). Равенство означает, что Y определяется X почти наверное.
Третье утверждение неверно. Если X принимает −1 и 1 по 1/2, H(X)=1 бит, но X² всегда 1 и H(X²)=0. В общем детерминированное преобразование не увеличивает дискретную энтропию: H(g(X))≤H(X). Равенство достигается, если преобразование однозначно на фактическом носителе X.
Проверка результата
Контрпример имеет конечные энтропии и полностью удовлетворяет предпосылкам. Для X≥0 квадрат инъективен, и равенство возможно.
Типичная ошибка
Переносить правило энтропии взаимно однозначного преобразования на квадрат, который склеивает x и −x.
Что даёт этот метод
Проверьте, теряет ли функция информацию о первоначальном значении.
Дальше по теме
Университетские задачи по вероятности.
Следующие разборы
- ВШЭ, вероятность: экспоненциальный закон максимизирует энтропию при заданном среднем
- ВШЭ, ПМИ: экзамен 28 марта 2025, полный разбор
Условие адаптировано из открытого источника: Борис Демешев, hse_pmi_probability_2024_2025, HA7Q3. Решение, объяснение и проверка изложены редакцией damirock.com; это не официальный ключ преподавателя. CC0 1.0. Вёрстка и обозначения адаптированы; числовые предпосылки указаны в условии.