Собственная информация

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск
Собственная информация дискретных равномерных распределений с двумя, тремя и десятью состояниями. Единица измерения «нат» — горизонтальная зелёная линия, риски слева — логарифмы натуральных чисел.

Собственная информация — статистическая функция дискретной случайной величины.

Собственная информация сама является случайной величиной, которую следует отличать от её среднего значения — информационной энтропии.

Для случайной величины , имеющей конечное число значений:

собственная информация определяется как

Единицы измерения информации зависят от основания логарифма. В случае логарифма с основанием 2 единицей измерения является бит, если используется натуральный логарифм — то нат, если десятичный — то хартли.

Основание логарифма Единица измерения Количество информации
о падении монеты «орлом» вверх
2 бит бит
e нат ната
10 хартли хартли

Собственную информацию можно понимать как «меру неожиданности» события — чем меньше вероятность события, тем больше информации оно содержит.

Свойства собственной информации[править | править вики-текст]

1) Неотрицательность: . при , т.е. предопределенный факт никакой информации не несет.

2) Монотонность: , если .

3) Аддитивность: для независимых справедливо

.

См. также[править | править вики-текст]

Литература[править | править вики-текст]