Дифференциальная энтропия

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Дифференциальная энтропия — формальное обобщение понятия информационной энтропии Шеннона для случая непрерывной случайной величины. В теории информации интерпретируется как средняя информация непрерывного источника. В случае одномерной случайной величины определяется как

бит

где  — плотность распределения сигнала непрерывного источника как случайной величины. В математической статистике в определении дифференциальной энтропии по соображениям удобства обычно используют натуральный логарифм.

Дифференциальная энтропия неинвариантна к преобразованию координат случайной величины и не имеет самостоятельного смысла. Более того, если случайная величина имеет размерность, то функционал дифференциальной энтропии будет некорректен с точки зрения размерности (поскольку под знаком логарифма оказывается размерная величина). Однако разность дифференциальных энтропий двух случайных величин, распределенных на одном интервале, является безразмерной величиной и совпадает с разностью их энтропий (энтропия любой непрерывной случайной величины бесконечна)[1][2].

Условная дифференциальная энтропия для величины при заданной величине определяется следующей формулой:

бит

Безусловная и условная дифференциальные энтропии могут быть как положительными, так и отрицательными величинами, а также могут быть равны бесконечности.

Для дифференциальной энтропии справедливы равенства, аналогичные для энтропии дискретного источника:

(для независимых источников — равенство)

Дифференциальная энтропия распределений с определенной фиксированной дисперсией максимальна в случае гауссова распределения плотности вероятности сигнала непрерывного источника как случайной величины и равна

бит

Для равномерного распределения:

бит

Для распределения Лапласа

бит

Примечания[править | править вики-текст]

Литература[править | править вики-текст]

  • Вернер М. 8.1 Дифференциальная энтропия // Основы кодирования = Information und Codierung / пер. Д.К. Зигангирова. — ЗАО «РИЦ „Техносфера“», 2004. — С. 109—114. — (Мир программирования). — 3 000 экз. — ISBN 5-94836-019-9.
  • Колмогоров А. Н. Теория информации и теория алгоритмов. — М.: Наука, 1987. — 304 с.
  • Тарасенко Ф. П. Введение в курс теории информации. — Томск.: Изд-во Томского университета, 1963. — 240 с.

Ссылки[править | править вики-текст]