Собственная информация

Собственная информация дискретных равномерных распределений с двумя, тремя и десятью состояниями. Единица измерения «нат» — горизонтальная зелёная линия, риски слева — логарифмы натуральных чисел.

Собственная информация — статистическая функция дискретной случайной величины.

Собственная информация сама является случайной величиной, которую следует отличать от её среднего значения — информационной энтропии.

Для случайной величины $X$, имеющей конечное число значений:

$P_X \left( x_i \right) = p_i, p_i \geq 0, i = 1, 2, ..., n$

$\sum_{i=1}^n p_i = 1$

собственная информация определяется как

$I \left( X \right) = - \log P_X \left( X \right)$

Единицы измерения информации зависят от основания логарифма. В случае логарифма с основанием 2 единицей измерения является бит, если используется натуральный логарифм — то нат, если десятичный — то хартли.

Основание логарифма	Единица измерения	Количество информации о падении монеты «орлом» вверх
2	бит	$- log_2 ( 1 / 2 ) = log_2 2 = 1$ бит
e	нат	$- ln ( 1 / 2 ) = ln 2 \approx 0,69$ ната
10	хартли	$- log_{10} ( 1 / 2 ) = log_{10} 2 \approx 0,30$ хартли

Собственную информацию можно понимать как «меру неожиданности» события — чем меньше вероятность события, тем больше информации оно содержит.

Свойства собственной информации

1) Неотрицательность: $I(x) \geq 0$. $I(x) = 0$ при $p(x) = 1$, т.е. предопределенный факт никакой информации не несет.

2) Монотонность: $I(x_1) > I(x_2)$, если $p(x_1) < p(x_2)$.

3) Аддитивность: для независимых $x_1,...,x_n$ справедливо

$I(x_1...x_n)=\sum_{i=1}^n I(x_i)$.

См. также

• Информационная энтропия
• Взаимная информация

Литература

• Габидулин, Э. М., Пилипчук, Н. И. Лекции по теории информации. — М.: МФТИ, 2007. — 214 с. — ISBN 5-7417-0197-3