Энтропийная скорость

В математической теории вероятности энтропийная скорость случайного процесса является, неформально говоря, временно́й плотностью средней информации в стохастическом процессе. Для стохастических процессов со счётным индексом энтропийная скорость $H(X)$ является пределом совместной энтропии $n$ членов процесса $X_{k}$, поделённым на $n$, при стремлении $n$ к бесконечности:

$H(X)=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n})$

если предел существует. Альтернативно, связанной величиной является:

$H'(X)=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},\dots X_{1})$

Для сильно стационарных стохастических процессов $H(X)=H'(X)$. Энтропийную скорость можно рассматривать как общее свойство стохастических источников, то есть свойство асимптотической равнораспределенности. Энтропийная скорость можно использовать для оценки сложности стохастических процессов. Он используется в различных приложениях от описания сложности языков, слепого разделения сигналов до оптимизации преобразователей и алгоритмов сжатия данных. Например, критерий максимальной энтропийной скорость может быть использован для отбора признаков в машинном обучении.

Энтропийная скорость для марковских цепей

Поскольку стохастический процесс, определяемый цепью Маркова, которая неприводима, непериодична и положительно рекурренктна, имеет стационарное распределение, энтропийная скорость независим от начального распределения.

Например, для такой цепи Маркова $Y_{k}$, определённом на счётном числе состояний, заданных матрицей переходов $P_{ij}$, $H(Y)$, задаётся выражением:

$\displaystyle H(Y)=-\sum _{ij}\mu _{i}P_{ij}\log P_{ij}$,

где $\mu _{i}$ является асимптотическим распределением цепи.

Простое следствие этого определение заключается в том, что независимый одинаково распределённый случайный процесс имеет энтропийную скорость, равную энтропии любого индивидуального члена процесса.

См. также

• Марковский источник информации
• свойство асимптотической равнораспределенности