Энтропия Реньи

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

В теории информации энтропия Реньи — обобщение энтропии Шеннона — является семейством функционалов, используемых в качестве меры количественного разнообразия, неопределённости или случайности некоторой системы. Названа в честь Альфреда Реньи. Другое название -энтропия.

Если некоторая система имеет дискретное множество доступных состояний , которому соответствует распределение вероятностей для (т. е. — вероятности пребывания системы в состояниях ), тогда энтропия Реньи с параметром (при и ) системы определяется как

,

где угловыми скобками обозначено математическое ожидание по распределению ( — вероятность пребывания системы в некотором состоянии как случайная величина), логарифм берётся по основанию 2 (для счёта в битах) либо по другому удобному основанию (оно должно быть больше 1). Основание логарифма определяет единицу измерения энтропии. Так, в математической статистике обычно используется натуральный логарифм.

Если все вероятности , тогда при любом энтропия Реньи . Иначе -энтропия убывает как функция . Притом более высокие значения (уходящие в бесконечность) дают энтропии Реньи значения, которые в большей степени определены лишь самыми высокими вероятностями событий (т. е. вклад в энтропию маловероятных состояний уменьшается). Промежуточный случай в пределе даёт энтропию Шеннона, которая обладает особыми свойствами. Более низкие значения (стремящиеся к нулю), дают значение энтропии Реньи, которое взвешивает возможные события более равномерно, менее зависимо от их вероятностей. А при получаем максимально возможную -энтропию, равную независимо от распределения (лишь бы ).

Смысл параметра можно описать, говоря неформальным языком, как восприимчивость функционала к отклонению состояния системы от равновесного: чем больше , тем быстрее уменьшается энтропия при отклонении системы от равновесного состояния. Смысл ограничения заключается в том, чтобы обеспечивалось увеличение энтропии при приближении системы к равновесному (более вероятному) состоянию. Это требование является естественным для понятия энтропия. Следует заметить, что для энтропии Цаллиса, которая эквивалентна энтропии Реньи с точностью до не зависящего от монотонного преобразования, соответствующее ограничение часто опускают, при этом для отрицательных значений параметра вместо максимизации энтропии используют её минимизацию.

Энтропия Реньи играет важную роль в экологии и статистике, определяя т. н. индексы разнообразия. Энтропия Реньи также важна в квантовой информации, она может быть использована в качестве меры сложности. В цепочке Гейзенберга энтропия Реньи была рассчитана в терминах модулярных функций, зависящих от . Они также приводят к спектру показателей фрактальной размерности.

Hα для некоторых конкретных значений α[править | править вики-текст]

Некоторые частные случаи[править | править вики-текст]

  • При энтропия Реньи не зависит от вероятностей состояний (вырожденный случай) и равна логарифму числа состояний (логарифму мощности множества ):
.

Данную энтропию иногда называют энтропией Хартли. Она используется, например, в формулировке принципа Больцмана.

  • В пределе при , можно показать, используя правило Лопиталя, что сходится к энтропии Шеннона. Таким образом, семейство энтропий Реньи может быть доопределено функционалом
.
  • Квадратичная энтропия, иногда называемая энтропией столкновений, — это энтропия Реньи с параметром :
,

где и — независимые случайные величины, одинаково распределённые на множестве с вероятностями (). Квадратичная энтропия используется в физике, обработке сигналов, экономике.

  • Существует предел
,

который называется min-энтропией, потому что это наименьшее значение . Данная энтропия также является вырожденным случаем, поскольку её значение определяется только наиболее вероятным состоянием.

Неравенства для различных значений α[править | править вики-текст]

Два последних случая связанны соотношением . С другой стороны, энтропия Шеннона может быть сколь угодно высокой для распределения X с фиксированной min-энтропией.

потому что .
, потому что .
в соответствии с неравенством Йенсена .

Расхождения (дивергенции) Реньи[править | править вики-текст]

Как и абсолютные энтропии Реньи, Реньи определил спектр мер расхождений (дивергенций), обобщающих расхождение Кульбака—Лейблера. Формулы данного раздела записаны в общем виде — через логарифм по произвольному основанию. Поэтому нужно понимать, что каждая приведённая формула представляет собой семейство эквивалентных функционалов, определённых с точностью до постоянного (положительного) множителя.

Расхождение Реньи с параметром , где и , распределения относительно распределения (или «расстояние от до ») определяется как

или (формально, без учёта нормировки вероятностей)

.

Как расхождение Кульбака—Лейблера, расхождение Реньи является неотрицательным для . Это расхождение также известно как альфа-расхождение (-дивергенция).

Некоторые частные случаи[править | править вики-текст]

  • При дивергенция Реньи не определена, однако семейство дивергенций можно доопределить элементом
 : минус логарифм от суммы вероятностей , таких что соответствующие .
  •  : расхождение Кульбака—Лейблера (равно математическому ожиданию по распределению логарифма отношения вероятностей ).
  •  : логарифм от математического ожидания по распределению отношения вероятностей . Данное расхождение с точностью до монотонного преобразования эквивалентно расстоянию хи-квадрат .
  •  : логарифм от максимального отношения вероятностей .

Почему α = 1 особенный случай[править | править вики-текст]

Значение α = 1, что дает энтропия Шеннона и расхождение Кульбака—Лейблера, является особенным, потому что только тогда, когда α=1 можно выделить переменные A и X из совместного распределения вероятностей, и написать:

для абсолютной энтропии, и

для относительной энтропии.

Последнее означает, что если мы будем искать распределение p(x,a),которое сводит к минимуму расхождения некоторых основополагающих мер m(x,a), и мы получаем новую информацию, которая влияет только на распределение a, то распределение p(x|a) остается без изменений m(x|a).

Другие расхождения Реньи удовлетворяют критериям: быть положительными и непрерывными, инварианты относительно один-в-один координировать преобразования и объединение аддитивно, когда A и X независимы, следовательно, если p(A,X) = p(A)p(X), то

и

Наиболее сильные свойства величины α = 1, которые предполагают определение условной информации и взаимной информации из теории связи, могут быть очень важны в других приложениях, или совершенно неважны, в зависимости от требований этих приложений.

Перекрёстная энтропия Реньи[править | править вики-текст]

Перекрёстная энтропия Шеннона от двух распределений с вероятностями и () может быть введена следующим образом. Определим эффективное количество состояний системы как среднее геометрическое взвешенное от величин с весами :

.

Отсюда получаем выражение для перекрёстной энтропии Шеннона

.

Рассуждая аналогичным образом, определим эффективное количество состояний системы как среднее степенное взвешенное от величин с весами и параметром :

.

Таким образом, перекрёстная энтропия Реньи имеет вид

.
  • Нетрудно видеть, что в случае, если распределения вероятностей и совпадают, перекрёстная энтропия Реньи совпадает с энтропией Реньи.
  • Также при перекрёстная энтропия Реньи сходится к перекрёстной энтропии Шеннона.
  • Заметим, что свойство , справедливое для перекрёстной энтропии Шеннона, не распространяется на перекрёстную энтропию Реньи. Перекрёстная энтропия Реньи может быть как больше, так и меньше энтропии Реньи.

Непрерывный случай[править | править вики-текст]

Для формального обобщения энтропии Шеннона на случай непрерывного распределения служит понятие дифференциальная энтропия. Совершенно аналогично определяется дифференциальная энтропия Реньи:

.

Расхождение (дивергенция) Реньи в непрерывном случае также является обобщением расхождения Кульбака—Лейблера и имеет вид

.

Перекрёстная энтропия Реньи для непрерывного случая определяется как

.

В приведённых формулах и — некоторые функции плотности распределения вероятностей, определённые на интервале , и полагается , .

Литература[править | править вики-текст]