Энтропия Реньи

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

В теории информации, энтропия Реньи, обобщение энтропии Шеннона, является одним из семейства функционалов для количественного разнообразия неопределенности или случайности системы. Она названа в честь Альфреда Реньи. Энтропия Реньи порядка α, где α 0, α 1 определяется как:

,

где pi - появление вероятностей событий {x1, x2 ... xn} и по основанию 2 (для счёта в битах).

Если вероятности , тогда все энтропии Реньи (для любого α) равны, Hα(X)=log n. Иначе α-энтропия слабо уменьшается как функция α.

Притом более высокие значения α (уходящие в бесконечность) дают энтропии Реньи значения, которое в большей степени определены лишь самыми высокими вероятностями событий. Промежуточный случай α=1 даёт энтропию Шеннона, которая обладает особыми свойствами. Более низкие значения α (стремящиеся к нулю), дают значение энтропии Реньи, которое взвешивает возможные события более равномерно, менее зависимо от их вероятностей. А при α=0 получаем максимально возможную α-энтропию Реньи равную log(n) независимо от распределения (лишь бы ).

Энтропии Реньи играют важную роль в экологии и статистике, определяя т.н. индексы разнообразия. Энтропия Реньи также важна в квантовой информации, она может быть использована в качестве меры сложности. В цепочке Гейзенберга энтропия Реньи была рассчитана в терминах модулярных функций, зависящих от α. Они также приводят к спектру показателей фрактальной размерности.

Hα для некоторых конкретных значений α[править | править вики-текст]

Некоторые частные случаи:

где логарифм мощности множества X, иногда называют энтропией Хартли множества X.

В пределе при стремящимся к 1, можно показать, используя правило Лопиталя, что сходится к

является энтропией Шеннона.

Столкновение энтропии, иногда называют "энтропией Реньи", относится к случаю ,

где Y является случайной величиной и не зависит от X, но одинаковое распределение на множестве X. При , существует предел

и называется Min-энтропия, потому что это наименьшее значение .

Неравенство между различными значениями α[править | править вики-текст]

Два последних случая связанны . С другой стороны, энтропия Шеннона может быть сколь угодно высокой для случайной величины X с фиксированной min-энтропией.

потому что .
потому что .
в соответствии с неравенством Иенсена .

Расхождения (дивергенции) Реньи[править | править вики-текст]

Как и абсолютные энтропии Реньи, Реньи определил спектр мер расхождений, обобщающих расхождения Кульбака-Лейблера. Расхождение Реньи порядка α, где α > 0, из распределения P в распределение Q определяется:

.

Как расхождение Кульбака-Лейблера, расхождение Реньи не является отрицательным для α>0. Это расхождение также известно как alpha-расхождение (-дивергенция).

Некоторые частные случаи:

 : минус логарифм от мощности Q, где pi>0;
 : минус двойной логарифм от Коэффициента Бхаттачариа (см. engl);
 : расхождение Кульбака-Лейблера (=ожидание по P, для логарифма отношения P/Q);
 : логарифм от ожидаемого (усреднение по P) отношения вероятностей (P/Q);
 : логарифм от максимального соотношения вероятностей.

Почему α = 1 особенный случай[править | править вики-текст]

Значение α = 1, что дает энтропия Шеннона и расхождение Кульбака-Лейблера, является особенным, потому что только тогда, когда α=1 можно выделить переменные A и X из совместного распределения вероятностей, и написать:

для абсолютной энтропии, и

для относительной энтропии.

Последнее означает, что если мы будем искать распределение p(x,a),которое сводит к минимуму расхождения некоторых основополагающих мер m(x,a), и мы получаем новую информацию, которая влияет только на распределение a, то распределение p(x|a) остается без изменений m(x|a).

Другие расхождения Реньи удовлетворяют критериям: быть положительными и непрерывными, инварианты относительно один-в-один координировать преобразования и объединение аддитивно, когда A и X независимы, следовательно, если p(A,X) = p(A)p(X), то

и

Наиболее сильные свойства величины α = 1, которые предполагают определение условной информации и взаимной информации из теории связи, могут быть очень важны в других приложениях, или совершенно неважны, в зависимости от требований этих приложений.

Литература[править | править вики-текст]