Взаимная информация

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Взаимная информация — статистическая функция двух случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой.

Взаимная информация определяется через энтропию и условную энтропию двух случайных величин как

Свойства взаимной информации[править | править вики-текст]

  • Взаимная информация является симметричной функцией случайных величин:

В частности, для независимых случайных величин взаимная информация равна нулю:

В случае, когда одна случайная величина (например, ) является детерминированной функцией другой случайной величины (), взаимная информация равна энтропии:

Условная и безусловная взаимная информация[править | править вики-текст]

Условная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданного значения третьей:

Безусловная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданной третьей случайной величины:

Свойства[править | править вики-текст]

  • Являются симметричными функциями:
  • Удовлетворяют неравенствам:

Литература[править | править вики-текст]