Дифференциальная энтропия

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Дифференциальная энтропия — функционал, заданный на множестве непрерывных распределений вероятностей, формальный аналог понятия информационной энтропии Шеннона для случая непрерывной случайной величины. В теории информации функционал был эвристически введён К. Шенноном[1], однако он не является автором термина «дифференциальная энтропия». Сам термин был введён А. Н. Колмогоровым совместно с И. М. Гельфандом и А. М. Ягломом и подчёркивает то, что данное понятие имеет иной смысл, нежели энтропия дискретных распределений. Ими же получен строгий вывод дифференциальной энтропии как первого члена асимптотического разложения энтропии, в котором проявляется зависимость от распределения случайной величины[2][3][4]. Для непрерывной случайной величины , распределённой на (), дифференциальная энтропия определяется как

,

где  — плотность распределения случайной величины (или сигнала непрерывного источника как случайной величины). Выбор основания логарифма в этой формуле (оно должно быть больше единицы) определяет единицу измерения соответствующего количества информации. Так, в теории информации часто используют двоичный логарифм, что соответствует единице количества информации бит, а функционал интерпретируется как средняя информация непрерывного источника. В математической статистике в определении дифференциальной энтропии по соображениям удобства обычно используют натуральный логарифм, функционал интерпретируется как мера неопределённости непрерывного распределения.

Дифференциальная энтропия неинвариантна по отношению к преобразованиям координат случайной величины и не имеет самостоятельного смысла. Более того, если случайная величина имеет размерность, то функционал дифференциальной энтропии будет некорректен с точки зрения размерности (поскольку под знаком логарифма оказывается размерная величина). Однако разность дифференциальных энтропий двух случайных величин, распределённых на одном множестве, является корректной, причём безразмерной величиной и совпадает с разностью их энтропий (поскольку энтропия любой непрерывной случайной величины бесконечна, при взятии разности энтропий должна раскрываться неопределённость, используя асимптотическое разложение)[3][4][5].

Таким образом, возможность выражать дифференциальную энтропию в битах (или других единицах) довольно условна: ситуация здесь подобна измерению температуры в градусах Цельсия, которые не являются абсолютной шкалой температуры, а имеют относительно неё некоторый сдвиг (по этой причине дифференциальная энтропия, как и температура по шкале Цельсия, может быть отрицательной). Отличие состоит в том, что в случае с дифференциальной энтропией этот сдвиг является бесконечным по отношению к абсолютной шкале, определяемой значениями энтропии. Т. е. абсолютную шкалу для энтропии непрерывных распределений нельзя выбрать, но с помощью дифференциальной энтропии можно сравнивать энтропии различных распределений.

Условная дифференциальная энтропия[править | править вики-текст]

Условная дифференциальная энтропия для величины при заданной величине определяется следующей формулой:

.

Безусловная и условная дифференциальные энтропии могут быть как положительными, так и отрицательными величинами, а также могут быть равны бесконечности. Данное обстоятельство также указывает на то, что дифференциальная энтропия (условная и безусловная) имеет несколько иной смысл, нежели энтропия, которая всегда неотрицательна.

Для дифференциальной энтропии справедливы равенства, аналогичные для энтропии дискретного источника:

(для независимых источников — равенство)

Примеры[править | править вики-текст]

В приведённых ниже примерах в определении дифференциальной энтропии используется натуральный логарифм, — дисперсия распределения.

.
.
.

Примечания[править | править вики-текст]

  1. Шеннон, 1963, с. 296-300.
  2. Гельфанд, 1958, с. 300-320.
  3. 1 2 Колмогоров, 1987, с. 39-41.
  4. 1 2 Глушков, 1974, с. 583-585.
  5. Тарасенко, 1963, с. 74-77.

Литература[править | править вики-текст]

  • Вернер М. 8.1 Дифференциальная энтропия // Основы кодирования = Information und Codierung / пер. Д.К. Зигангирова. — ЗАО «РИЦ „Техносфера“», 2004. — С. 109—114. — (Мир программирования). — 3 000 экз. — ISBN 5-94836-019-9.
  • Колмогоров А. Н. Теория информации и теория алгоритмов. — М.: Наука, 1987. — 304 с.
  • Тарасенко Ф. П. Введение в курс теории информации. — Томск: Изд-во Томского университета, 1963. — 240 с.
  • Шеннон К. Работы по теории информации и кибернетике. — М.: Издательство иностранной литературы, 1963. — 830 с.
  • Гельфанд И. М., Колмогоров А. Н., Яглом А. М. Количество информации и энтропия для непрерывных распределений. В кн.: Тр. III Всесоюзного математического съезда, т. 3. — М.: АН СССР, 1958.
  • Глушков В.М., Амосов Н.М., Артеменко И.А. Энциклопедия кибернетики. Том 2. — Киев, 1974.

Ссылки[править | править вики-текст]