Энтропия Реньи

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

В теории информации, энтропия Реньи, обобщение энтропии Шеннона, является одним из семейства функционалов для количественного разнообразия неопределенности или случайности системы. Она названа в честь Альфреда Реньи.

Энтропия Реньи порядка α, где α \geq 0, α \neq 1 определяется как

H_\alpha(X) = \frac{1}{1-\alpha}\log\Bigg(\sum_{i=1}^n p_i^\alpha\Bigg)

где pi - появление вероятностей событий {x1, x2 ... xn} и \log по основанию 2. Если все вероятности одинаковые, тогда все распределения энтропии Реньи равны, Hα(X)=log n. В противном случае, энтропии слабо уменьшаются как функция от α.

Более высокие значения α, стремясь к бесконечности, дают энтропию Реньи, которая в большей степени определена через рассмотрение только самых высоких вероятностей событий. Более низкие значения α, стремящиеся к нулю, дают энтропию Реньи, которая в большей степени взвешивает все возможные события более равномерно, независимо от их вероятностей. Промежуточный случай α=1 дает энтропию Шеннона, которая обладает особыми свойствами. При α=0 максимально возможная энтропия Шеннона, log(N).

Энтропии Реньи играют важную роль в экологии и статистике как индексы разнообразия. Энтропия Реньи также важна в квантовой информации, она может быть использована в качестве меры сложности. В цепочке Гейзенберга  XY энтропия Реньи была рассчитана в терминах модулярных функций, зависящих от α. Они также приводят к спектру показателей фрактальной размерности.

Hα для некоторых конкретных значений α[править | править исходный текст]

Некоторые частные случаи:

H_0 (X) = \log n = \log |X|,\,

где логарифм мощности множества X, иногда называют энтропией Хартли множества X.

В пределе при \alpha стремящимся к 1, можно показать, используя правило Лопиталя, что H_\alpha сходится к

H_1 (X) = - \sum_{i=1}^n p_i \log p_i

является энтропией Шеннона.

Столкновение энтропии, иногда называют "энтропией Реньи", относится к случаю \alpha = 2,

H_2 (X) = - \log \sum_{i=1}^n p_i^2 = - \log P(X = Y)

где Y является случайной величиной и не зависит от X, но одинаковое распределение на множестве X. При \alpha \rightarrow \infty , существует предел

H_\infty (X) = - \log \sup_{i=1..n} p_i

и называется Min-энтропия, потому что это наименьшее значение H_\alpha.

Неравенство между различными значениями α[править | править исходный текст]

Два последних случая связанны  H_\infty < H_2 < 2 H_\infty . С другой стороны, энтропия Шеннона H_1 может быть сколь угодно высокой для случайной величины X с фиксированной min-энтропией.

 H_2 < 2 H_\infty потому что  \log \sum\limits_{i = 1}^n {p_i^2 }  \ge \log \sup _i p_i^2  = 2\log \sup p_i .
 H_\infty < H_2 потому что 
\log \sum\limits_{i = 1}^n {p_i^2 }  < \log \sup _i p_i \left( {\sum\limits_{i = 1}^n {p_i } } \right) = \log \sup p_i 
.
 H_1 \left( x \right) \ge H_2 \left( x \right) в соответствии с неравенством Иенсена  
\sum\limits_{i = 1}^M {p_i \log p_i }  \le \log \sum\limits_{i = 1}^M {p_i^2 } 
.

Расхождения (дивергенции) Реньи[править | править исходный текст]

Как и абсолютные энтропии Реньи, Реньи определил спектр мер расхождений, обобщающих расхождения Кульбака-Лейблера. Расхождение Реньи порядка α, где α > 0, из распределения P в распределение Q определяется:

D_\alpha (P \| Q) = \frac{1}{\alpha-1}\log\Bigg(\sum_{i=1}^n \frac{p_i^\alpha}{q_i^{\alpha-1}}\Bigg) = \frac{1}{\alpha-1}\log \sum_{i=1}^n p_i^\alpha q_i^{1-\alpha}\,

Как расхождение Кульбака-Лейблера, расхождение Реньи не является отрицательным для α>0. Это расхождение также известно как alpha-расхождение (\alpha-дивергенция).

Некоторые частные случаи:

D_0(P \| Q) = - \log Q(\{i : p_i > 0\}) : отрицательный логарифм от Q, pi>0;
D_{1/2}(P \| Q) = -2 \log \sum_{i=1}^n \sqrt{p_i q_i}  : двойной отрицательный логарифм от коэффициента Бхаттачариа;
D_1(P \| Q) = \sum_{i=1}^n p_i \log \frac{p_i}{q_i} : расхождение Кульбака-Лейблера;
D_2(P \| Q) = \log \Big\langle \frac{p_i}{q_i} \Big\rangle \,  : логарифм от ожидаемого отношения вероятностей;
D_\infty(P \| Q) = \log \sup_i \frac{p_i}{q_i}  : логарифм от максимального соотношения вероятностей.

Почему α = 1 особенный случай[править | править исходный текст]

Значение α = 1, что дает энтропия Шеннона и расхождение Кульбака-Лейблера, является особенным, потому что только тогда, когда α=1 можно выделить переменные A и X из совместного распределения вероятностей, и написать:

H(A,X) =  H(A) + \mathbb{E}_{p(a)} \{ H(X|a) \}

для абсолютной энтропии, и

D_\mathrm{KL}(p(x|a)p(a)||m(x,a)) =  \mathbb{E}_{p(a)}\{D_\mathrm{KL}(p(x|a)||m(x|a))\} + D_\mathrm{KL}(p(a)||m(a)),

для относительной энтропии.

Последнее означает, что если мы будем искать распределение p(x,a),которое сводит к минимуму расхождения некоторых основополагающих мер m(x,a), и мы получаем новую информацию, которая влияет только на распределение a, то распределение p(x|a) остается без изменений m(x|a).

Другие расхождения Реньи удовлетворяют критериям: быть положительными и непрерывными, инварианты относительно один-в-один координировать преобразования и объединение аддитивно, когда A и X независимы, следовательно, если p(A,X) = p(A)p(X), то

H_\alpha(A,X) = H_\alpha(A) + H_\alpha(X)\;

и

D_\alpha(P(A)P(X)\|Q(A)Q(X)) = D_\alpha(P(A)\|Q(A)) + D_\alpha(P(X)\|Q(X)).

Наиболее сильные свойства величины α = 1, которые предполагают определение условной информации и взаимной информации из теории связи, могут быть очень важны в других приложениях, или совершенно неважны, в зависимости от требований этих приложений.

Литература[править | править исходный текст]