Задача 2.5 из «Заметок к семинарам по вероятностям». Источник приводит уравнения оптимальности и варианты бесплатной стратегии. Ниже эти уравнения решены полностью; численные результаты и разбор продолжительности — редакционное дополнение.
Условие
Вася бросает правильный кубик до выпадения единицы либо до собственного решения остановиться. Он получает столько рублей, сколько выпало в последнем броске. Нужно максимизировать ожидаемый выигрыш, найти оптимальную стратегию и среднюю продолжительность. Затем требуется решить задачу, если каждый бросок стоит 35 копеек.
Броски независимы. При выпадении единицы остановка обязательна; после остальных результатов можно либо забрать выпавшее число рублей, либо продолжить.
Бесплатные броски
Пусть V — оптимальный ожидаемый выигрыш перед новым броском. После результата k от 2 до 6 выбираем большее из k и V. Единица приносит ровно 1 рубль:
6V = 1 + max(2, V) + max(3, V) + max(4, V) + max(5, V) + max(6, V).
Подстановка V = 4 даёт 24 = 1 + 4 + 4 + 4 + 5 + 6. Значит, после 2 и 3 нужно продолжать, после 5 и 6 — останавливаться. После 4 оба решения равноценны.
Оптимальный ожидаемый выигрыш — 4 рубля. Две стратегии, названные в источнике, действительно оптимальны: остановка на 4, 5, 6 либо только на 5, 6; единица завершает игру в обоих случаях.
Одинаковый выигрыш, разная продолжительность
При остановке на 4, 5, 6 завершающими являются четыре грани: 1, 4, 5, 6. Вероятность завершения на каждом броске равна 4/6, поэтому среднее число бросков равно 3/2.
При продолжении после 4 завершают игру только 1, 5, 6. Вероятность равна 3/6, а средняя продолжительность — 2 броска. Это два оптимальных варианта, а не противоречащие ответы.
Бросок стоит 35 копеек
Теперь V означает ожидаемый выигрыш за вычетом всех будущих расходов. Стоимость текущего броска вычитается независимо от результата:
V = −0,35 + [1 + max(2, V) + … + max(6, V)]/6.
Проверим 3 < V < 4: продолжаем после 2 и 3, останавливаемся после 4, 5 и 6. Получаем V = −0,35 + (16 + 2V)/6.
V = 139/40 = 3,475 рубля. Найденное значение действительно между 3 и 4, поэтому стратегия согласована с уравнением.
Средняя продолжительность равна 1,5 броска. Проверка: средняя выплата 4 рубля минус средние расходы 0,35 · 1,5 = 0,525 рубля даёт 3,475 рубля.
Связанные материалы
Случайная продолжительность серии · Математика.
Борис Демешев и участники probability_pro · задача 2.5 · CC BY 4.0. Адаптировано; решение исходных уравнений и проверки дополнены редакцией.