Дифференциальная энтропия

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Дифференциальная энтропия — средняя информация непрерывного источника. Определяется как

H\left( X \right) =  - \int\limits_{ - \infty }^{ + \infty } {f\left( x \right)\log _2 f\left( x \right)\,} dx бит

где f\left( x \right) — плотность распределения сигнала непрерывного источника как случайной величины.

Условная дифференциальная энтропия для величины X при заданной величине Y определяется следующей формулой:

H\left( {X|Y = y} \right) =  - \int\limits_{ - \infty }^{ + \infty } {f_{X|Y} \left( x \right)\log _2 f_{X|Y} \left( x \right)\,dx} бит

Безусловная и условная дифференциальные энтропии могут быть как положительными, так и отрицательными величинами, а также могут быть равны бесконечности.

Для дифференциальной энтропии справедливы равенства, аналогичные для энтропии дискретного источника:

H\left( X \right) \ge H\left( {X|Y} \right) (для независимых источников — равенство)
H\left( {X,Y} \right) = H\left( X \right) + H\left( {Y|X} \right) = H\left( Y \right) + H\left( {X|Y} \right)

Дифференциальная энтропия распределений с определенной фиксированной дисперсией \sigma^2 максимальна в случае гауссова распределения плотности вероятности сигнала непрерывного источника как случайной величины и равна

H\left( X \right) = \frac{1}{2}\frac{\ln \left( {2\pi \sigma ^2 e} \right)}{\ln 2} бит

Для равномерного распределения:

H\left( X \right) = \frac{\ln \left( {2 \sqrt 3 \sigma} \right)}{\ln 2} бит

Для распределения Лапласа

H\left( X \right) = \frac{\ln \left( {\sqrt 2 \sigma e} \right)}{\ln 2} бит

Литература[править | править вики-текст]

  • Вернер М. 8.1 Дифференциальная энтропия // Основы кодирования = Information und Codierung / пер. Д.К. Зигангирова. — ЗАО «РИЦ „Техносфера“», 2004. — С. 109—114. — (Мир программирования). — 3 000 экз. — ISBN 5-94836-019-9

Ссылки[править | править вики-текст]