Дифференциальная энтропия

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Дифференциальная энтропия — функционал, заданный на множестве непрерывных распределений вероятностей, служит формальным обобщением понятия информационной энтропии Шеннона для случая непрерывной случайной величины. В теории информации интерпретируется как средняя информация непрерывного источника. В случае одномерной случайной величины определяется как

,

где  — плотность распределения случайной величины (или сигнала непрерывного источника как случайной величины). Выбор основания логарифма в этой формуле (оно должно быть больше единицы) определяет единицу измерения соответствующего количества информации. Так, в теории информации часто используют двоичный логарифм, что соответствует единице количества информации бит. В математической статистике в определении дифференциальной энтропии по соображениям удобства обычно используют натуральный логарифм.

Дифференциальная энтропия не ковариантна к преобразованию координат случайной величины и не имеет самостоятельного смысла. Более того, если случайная величина имеет размерность, то функционал дифференциальной энтропии будет некорректен с точки зрения размерности (поскольку под знаком логарифма оказывается размерная величина). Однако разность дифференциальных энтропий двух случайных величин, распределённых на одном интервале, является безразмерной величиной и совпадает с разностью их энтропий (притом, что энтропия любой непрерывной случайной величины бесконечна)[1][2].

Таким образом, возможность выражать дифференциальную энтропию в битах (или других единицах) довольно условна: ситуация здесь подобна измерению температуры в градусах Цельсия, которые не являются абсолютной шкалой температуры, а имеют относительно неё некоторый сдвиг (по этой причине дифференциальная энтропия, как и температура по шкале Цельсия, может быть отрицательной). Отличие состоит в том, что в случае с дифференциальной энтропией этот сдвиг является бесконечным по отношению к абсолютной шкале, определяемой значениями энтропии. Т. е. абсолютную шкалу для энтропии непрерывных распределений нельзя выбрать, но с помощью дифференциальной энтропии можно сравнивать энтропии различных распределений.

Условная дифференциальная энтропия[править | править вики-текст]

Условная дифференциальная энтропия для величины при заданной величине определяется следующей формулой:

.

Безусловная и условная дифференциальные энтропии могут быть как положительными, так и отрицательными величинами, а также могут быть равны бесконечности. Данное обстоятельство также указывает на то, что дифференциальная энтропия (условная и безусловная) имеет несколько иной смысл, нежели энтропия, которая всегда неотрицательна.

Для дифференциальной энтропии справедливы равенства, аналогичные для энтропии дискретного источника:

(для независимых источников — равенство)

Примеры[править | править вики-текст]

В приведённых ниже примерах в определении диффереренциальной энтропии используется натуральный логарифм, — дисперсия распределения.

.
.
.

Примечания[править | править вики-текст]

Литература[править | править вики-текст]

  • Вернер М. 8.1 Дифференциальная энтропия // Основы кодирования = Information und Codierung / пер. Д.К. Зигангирова. — ЗАО «РИЦ „Техносфера“», 2004. — С. 109—114. — (Мир программирования). — 3 000 экз. — ISBN 5-94836-019-9.
  • Колмогоров А. Н. Теория информации и теория алгоритмов. — М.: Наука, 1987. — 304 с.
  • Тарасенко Ф. П. Введение в курс теории информации. — Томск.: Изд-во Томского университета, 1963. — 240 с.

Ссылки[править | править вики-текст]