Дифференциальная энтропия

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Дифференциальная энтропия — средняя информация непрерывного источника. Определяется как

бит

где  — плотность распределения сигнала непрерывного источника как случайной величины.

Условная дифференциальная энтропия для величины при заданной величине определяется следующей формулой:

бит

Безусловная и условная дифференциальные энтропии могут быть как положительными, так и отрицательными величинами, а также могут быть равны бесконечности.

Для дифференциальной энтропии справедливы равенства, аналогичные для энтропии дискретного источника:

(для независимых источников — равенство)

Дифференциальная энтропия распределений с определенной фиксированной дисперсией максимальна в случае гауссова распределения плотности вероятности сигнала непрерывного источника как случайной величины и равна

бит

Для равномерного распределения:

бит

Для распределения Лапласа

бит

Литература[править | править вики-текст]

Ссылки[править | править вики-текст]