Собственная информация

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск
Собственная информация дискретных равномерных распределений с двумя, тремя и десятью состояниями. Единица измерения «нат» — горизонтальная зелёная линия, риски слева — логарифмы натуральных чисел.

Собственная информация — статистическая функция дискретной случайной величины.

Собственная информация сама является случайной величиной, которую следует отличать от её среднего значения — информационной энтропии.

Для случайной величины X, имеющей конечное число значений:

P_X \left( x_i \right) = p_i, p_i \geq 0, i = 1, 2, ..., n
\sum_{i=1}^n p_i = 1

собственная информация определяется как

I \left( X \right) =  - \log P_X \left( X \right)

Единицы измерения информации зависят от основания логарифма. В случае логарифма с основанием 2 единицей измерения является бит, если используется натуральный логарифм — то нат, если десятичный — то хартли.

Основание логарифма Единица измерения Количество информации
о падении монеты «орлом» вверх
2 бит - log_2 ( 1 / 2 ) = log_2 2 = 1 бит
e нат - ln ( 1 / 2 ) = ln 2 \approx 0,69 ната
10 хартли - log_{10} ( 1 / 2 ) = log_{10} 2 \approx 0,30 хартли

Собственную информацию можно понимать как «меру неожиданности» события — чем меньше вероятность события, тем больше информации оно содержит.

Свойства собственной информации[править | править вики-текст]

1) Неотрицательность: I(x) \geq 0. I(x) = 0 при p(x) = 1, т.е. предопределенный факт никакой информации не несет.

2) Монотонность: I(x_1) > I(x_2), если p(x_1) < p(x_2).

3) Аддитивность: для независимых x_1,...,x_n справедливо

I(x_1...x_n)=\sum_{i=1}^n I(x_i).

См. также[править | править вики-текст]

Литература[править | править вики-текст]