Марковский процесс

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Ма́рковский проце́сс — случайный процесс, эволюция которого после любого заданного значения временно́го параметра t не зависит от эволюции, предшествовавшей t, при условии, что значение процесса в этот момент фиксировано («будущее» процесса не зависит от «прошлого» при известном «настоящем»; другая трактовка (Вентцель): «будущее» процесса зависит от «прошлого» лишь через «настоящее»).

Процесс Маркова — модель авторегрессии первого порядка AR(1): xt1*xt-1t

История[править | править вики-текст]

Определяющее марковский процесс свойство принято называть марковским; впервые оно было сформулировано А. А. Марковым, который в работах 1907 г. положил начало изучению последовательностей зависимых испытаний и связанных с ними сумм случайных величин. Это направление исследований известно под названием теории цепей Маркова.

Однако уже в работе Л. Башелье можно усмотреть попытку трактовать броуновское движение как марковский процесс, попытку, получившую обоснование после исследований Винера в 1923.

Основы общей теории марковских процессов с непрерывным временем были заложены Колмогоровым.

Отличие Марковского процесса от Марковской цепи[править | править вики-текст]

Марковская цепь с дискретным временем — время дискретно, пространство состояний дискретно.

Марковская цепь с непрерывным временем — время непрерывно, пространство состояний дискретно

Марковский процесс — и время и пространство состояний непрерывно.

Марковское свойство[править | править вики-текст]

Общий случай[править | править вики-текст]

Пусть (\Omega,\mathcal{F},\mathbb{P})вероятностное пространство с фильтрацией (\mathcal{F}_t,\ t \in T) по некоторому (частично упорядоченному) множеству T; и пусть (S,\mathcal{S})cигма-алгебра. Случайный процесс X=(X_t,\ t\in T), определённый на фильтрованном вероятностном пространстве, считается удовлетворяющим марковскому свойству, если для каждого A\in \mathcal{S} и s,t\in T:s<t,

\mathbb{P}(X_t \in A |\mathcal{F}_s) = \mathbb{P}(X_t \in A| X_s).

Марковский процесс — это случайный процесс, удовлетворяющий марковскому свойству с естественной фильтрацией.

Для марковских цепей с дискретным временем[править | править вики-текст]

В случае, если S является дискретным множетсвом и T = \mathbb{N}, определение может быть переформулировано:

\mathbb{P}(X_n=x_n|X_{n-1}=x_{n-1}, X_{n-2}=x_{n-2}, \dots, X_0=x_0)=\mathbb{P}(X_n=x_n|X_{n-1}=x_{n-1}).


Пример марковского процесса[править | править вики-текст]

Рассмотрим простой пример марковского случайного процесса. По оси абсцисс случайным образом перемещается точка. В момент времени ноль точка находится в начале координат и остается там в течение одной секунды. Через секунду бросается монета - если выпал герб, то точка X перемещается на одну единицу длины вправо, если цифра - влево. Через секунду снова бросается монета и производится такое же случайное перемещение, и так далее. Процесс изменения положения точки («блуждания») представляет собой случайный процесс с дискретным временем (t=0,1,2,...) и счетным множеством состояний. Такой случайный процесс называется марковским, так как следующее состояние точки зависит только от настоящего (текущего) состояния и не зависит от прошлых состояний (неважно, каким путем и за какое время точка попала в текущую координату).

См. также[править | править вики-текст]

Ссылки[править | править вики-текст]