Циклический подкласс

Цикли́ческие подкла́ссы — подмножества неразложимого периодического класса цепи Маркова такие, что цепь проходит их один за другим по порядку.

Теорема

Пусть дана цепь Маркова $\{X_{n}\}_{n\geq 0}$ с дискретным временем, дискретным пространством состояний $S$ и матрицей переходных вероятностей $P$. Пусть $C\subset S$ — неразложимый класс состояний с периодом $d$. Тогда существует разбиение множества $C$: $C_{0},\ldots ,C_{d-1}\subset C$, то есть

$C_{k}\cap C_{l}=\emptyset ,\;k\not =l,\quad \bigcup \limits _{k=0}^{d-1}C_{k}=C$

такое, что

$\mathbb {P} (X_{n+1}\in C_{k+1\!\!\!\!\!\mod d}\mid X_{n}\in C_{k})=1,\quad k=0,\ldots ,d-1,\;n\in \mathbb {N}$.

Замечание

Таким образом внутри любого неразложимого периодического класса цепь Маркова описывает путь:

$C_{k}\to C_{k+1}\to \cdots \to C_{d-1}\to C_{0}\to \cdots \to C_{k-1}\to C_{k}\to \cdots$,

где $k$ — индекс начального подмножества.

Определение

Построенные таким образом подмножества $C_{k},\;k=1,\ldots ,d-1$ называются цикли́ческими подкла́ссами.

Цепь внутри циклического подкласса

Очевидно имеем:

$\mathbb {P} (X_{n+d}\in C_{k}\mid X_{n}\in C_{k})=1,\quad k=0,\ldots ,d-1,\;n\in \mathbb {N}$,

то есть через каждые $d$ шагов цепь возвращается в тот же циклический подкласс. Тогда для любого фиксированного $k=0,\ldots ,d-1$ можно построить новую цепь Маркова $\left\{X_{n}^{(k)}\right\}_{n\geq 0}$ со множеством состояний $C_{k}$ и матрицей переходных вероятностей $P^{d}$. Эта цепь будет неразложимой и апериодичной. Таким образом изучение многих вопросов поведения цепи Маркова сводится к случаю апериодической неразложимой цепи.