Задача
Марковская цепь имеет матрицу переходов
P=[[0,8,0,2],[0,3,0,7]].
Найдите стационарное распределение и вероятность оказаться в состоянии 2 через два шага, начав из состояния 1.
Стационарное распределение
Пусть π=(p,1−p). Уравнение p=0,8p+0,3(1−p) даёт 0,5p=0,3, поэтому
π=(0,6;0,4).
Два шага
P²₁₂=0,8·0,2+0,2·0,7=0,30.
То есть из состояния 1 за два шага попасть во второе можно через пути 1→1→2 или 1→2→2.
Сходимость
Все переходные вероятности положительны, цепь неприводима и апериодична. Поэтому распределение состояний из любой начальной точки сходится к π.
Редакционная экзаменационная практика по цепям Маркова из tssp_exams · CC0 1.0.