Количество информации

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Количество информации – в теории информации это количество информации в одном случайном объекте относительно другого. Пусть x и y – случайные величины, заданные на соответствующих множествах X и  Y . Тогда количество информации x относительно y есть:

I(x,y)=H(x)-H(x|y) ,

где

H(x)=-\sum_{x \in X} p(x) \log2 p(x) ,энтропия, а

H(x|y)=-\sum_{y \in Y} p(y) \sum_{x \in X} p(x|y) log2  p(x|y)  , — условная энтропия, в теории передачи информации она характеризует шум в канале.

Свойства энтропии[править | править вики-текст]

Для энтропии справедливы свойства:

 0 \leqslant H(x) \leqslant \ln (m) ,

где m количество элементов множества X.

При этом, H(x)=0, если один из элементов множества реализуется с вероятностью 1, а остальные, соответственно, 0, в силу того, что  1 \ln 1 =0 и  0 \ln 0 =0.

Максимум значения энтропии  H(x) = \ln (m) достигается, когда все  p(x) = 1/m , т.е. все исходы равновероятны.

Для условной энтропии справедливы свойства:

 0 \leqslant H(x|y) \leqslant H(x) ,

При этом, H(x|y)=0, если отображение Y в X однозначное, т.е.  \forall y  \exists x \colon p(x|y)=1 .

Максимум значения условной энтропии  H(x|y) = H(x) достигается, когда x и y - независимые случайные величины.

Свойства количества информации[править | править вики-текст]

Для количества информации справедливы свойства:

I(x,y)=I(y,x), как следствие теоремы Байеса.
I(x,y) \geqslant 0,
I(x,y)=0, если x и y – независимые случайные величины.
I(x,x)=H(x).

Последнее свойство показывает, что количество информации совпадает с энтропией, если компонента потери информации (шум) равна нулю.