Условие
Начинающая певица даёт концерты каждый день. Каждый концерт приносит продюсеру 0,75 тыс. евро. После каждого концерта певица может впасть в депрессию с вероятностью 0,5. Самостоятельно выйти из депрессии она не может, а в депрессии не способна выступать. Помочь ей могут только цветы от продюсера: если подарить цветы на сумму x тыс. евро, 0≤x≤1, она выйдет из депрессии с вероятностью √x.
Какова оптимальная стратегия продюсера, если он максимизирует текущую ожидаемую ценность певицы?
Решение источника
Источник обозначает ценность певицы в хорошем настроении через V1, в депрессии — через V2, и записывает систему
V1=0,75+0,5·V1+0,5·V2,
V2=maxx [√x·V1+(1−√x)·V2−x].
Из условия первого порядка во втором уравнении x∗=(V1−V2)²/4, а из первого уравнения (V1−V2)/2=0,75. Отсюда источник получает x∗=0,5625 тыс. евро.
Редакционное объяснение
Ответ источника неверен. Без дисконтирования певица приносит доход бесконечно долго, поэтому V1 и V2 бесконечны, и система не имеет конечного решения. Это видно и формально. Обозначим s=√x. Второе уравнение равносильно 0=maxs [s·(V1−V2)−s²]=(V1−V2)²/4, то есть требует V1=V2, а первое даёт V1−V2=1,5. Система противоречива.
Корректная постановка — максимизировать средний доход за день в долгосрочной перспективе. Это предел задачи с дисконтированием при коэффициенте дисконтирования β→1. Пусть продюсер в каждый день депрессии дарит цветы на x. Тогда настроение певицы — цепь Маркова: из хорошего состояния в депрессию с вероятностью 1/2, из депрессии в хорошее состояние на следующий день с вероятностью s. Стационарные доли дней: s/(s+0,5) хороших и 0,5/(s+0,5) депрессивных. Средний доход за день
g(s)=(0,75·s−0,5·s²)/(s+0,5).
Условие g′(s)=0 сводится к s²+s−0,75=0, откуда s=0,5. Значит, оптимально дарить цветы на x=0,25 тыс. евро (250 евро) в каждый день депрессии, а средний доход продюсера равен 0,25 тыс. евро в день.
Тот же ответ даёт уравнение Беллмана для среднего дохода, в котором не потерян член g: h1+g=0,75+0,5·h1+0,5·h2 и h2+g=maxs [s·h1+(1−s)·h2−s²]. Для D=h1−h2 получаем D=1,5−2g и g=D²/4 при s=D/2, откуда D²+2D−3=0, D=1, s=1/2, g=1/4. Источник фактически положил g=0.
Сравнение стратегий по среднему доходу за день: при x=0,25 — 0,25; при x=0,5625 из источника — 0,225; без цветов — 0, потому что депрессия становится вечной; при x=1 — 1/6≈0,167. Итерации ценности с дисконтированием дают оптимальное x≈0,201 при β=0,9, ≈0,245 при β=0,99 и ≈0,2495 при β=0,999. Моделирование 2 млн дней дало средний доход 0,2506 при x=0,25 и 0,2255 при x=0,5625.
Что не следует из ответа
Ответ зависит от того, когда выздоровевшая певица снова выступает. Выше, как и в уравнениях источника, оба исхода дарения цветов определяют состояние на следующий день. Если же певица может выступить в тот же день, когда вышла из депрессии, оптимум другой: x=(√2,5−1)²≈0,338 тыс. евро при среднем доходе ≈0,338 тыс. евро в день. Это тоже не 0,5625.
При заметном дисконтировании будущих доходов оптимальный букет меньше 0,25: продюсеру выгоднее экономить на цветах.
Сумма 0,25 тыс. евро тратится в каждый день депрессии, а не один раз и не после каждого концерта. Средние траты на цветы — 0,25·(доля депрессивных дней)=0,25·0,5=0,125 тыс. евро в день.
Борис Демешев и участники · probability_dna, задача «Истеричная певица» · Исходное задание и решение · CC BY 4.0. Адаптация: формулировка решения источника нейтрализована, ошибка источника (ответ 0,5625 из противоречивой системы без дисконтирования) исправлена на 0,25 по критерию среднего дохода, добавлены проверки и анализ допущений.