DamiRocK

Первое достижение состояния в цепи Маркова: система для hitting time

Для трёх состояний с поглощающим 3 составляем линейные уравнения h_i=1+ΣP_ij h_j и решаем среднее время достижения.

Задача

Состояние 3 поглощающее. Переходы: из 1 — в 1 с 0,5, в 2 с 0,5; из 2 — в 1 с 0,25, в 2 с 0,25, в 3 с 0,5. Найдите среднее время до достижения 3 из 1 и 2.

Уравнения

Пусть h_i=E_iT, h_3=0. Тогда

h₁=1+0,5h₁+0,5h₂,

h₂=1+0,25h₁+0,25h₂.

Решение

Из первого h₁−h₂=2. Из второго 0,75h₂−0,25h₁=1, то есть 3h₂−h₁=4.

Подстановка h₁=h₂+2 даёт 2h₂=6, поэтому

h₂=3, h₁=5.

Почему появляется +1

Перед переходом проходит один шаг времени, после которого остаётся ожидаемое время из нового состояния. Это стандартное first-step decomposition.

Редакционная практика по hitting times из tssp_exams · CC0 1.0.

Reading preferences

Appearance
Contrast
More options

Saved only in this browser. Your device’s reduced-motion setting is always respected. Browser zoom works throughout the site.