Энтропийная скорость

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску
Теория информации
Binaryerasurechannel.png

В математической теории вероятности энтропийная скорость случайного процесса является, неформально говоря, временно́й плотностью средней информации в стохастическом процессе. Для стохастических процессов со счётным индексом энтропийная скорость является пределом совместной энтропии[en] членов процесса , поделённым на , при стремлении к бесконечности:

если предел существует. Альтернативно, связанной величиной является:

Для сильно стационарных стохастических процессов . Энтропийная скорость можно рассматривать как общее свойство стохастических источников, то есть свойство асимптотической равнораспределенности[en]. Энтропийная скорость можно использовать для оценки сложности стохастических процессов. Он используется в различных приложениях от описания сложности языков, слепого разделения сигналов до оптимизации преобразователей и алгоритмов сжатия данных. Например, критерий максимальной энтропийной скорость может быть использован для отбора признаков в обучении машин[1].

Энтропийная скорость для марковских цепей[править | править код]

Поскольку стохастический процесс, определяемый цепью Маркова, которая неприводима, непериодична и положительно рекурренктна, имеет стационарное распределение, энтропийная скорость независим от начального распределения.

Например, для такой цепи Маркова , определённом на счётном числе состояний, заданных матрицей переходов , , задаётся выражением:

,

где является {{|Асимптотическое распределение|асимптотическим распределением|||Asymptotic distribution}} цепи.

Простое следствие этого определение заключается в том, что независимый одинаково распределённый случайный процесс имеет энтропийную скорость, равную энтропии любого индивидуального члена процесса.

См. также[править | править код]

Примечания[править | править код]

  1. Einicke, 2018, с. 1097–1103.

Литература[править | править код]

  • Einicke G. A. Maximum-Entropy Rate Selection of Features for Classifying Changes in Knee and Ankle Dynamics During Running // IEEE Journal of Biomedical and Health Informatics. — 2018. — Т. 28, вып. 4. — DOI:10.1109/JBHI.2017.2711487.