Энтропийное кодирование

Материал из Википедии — свободной энциклопедии

(Перенаправлено с Энтропийное сжатие)
Перейти к: навигация, поиск

Кодирование энтропии — кодирование словами (кодами) переменной длины, при которой длина кода символа имеет обратную зависимость от вероятности появления символа в передаваемом сообщении. Обычно энтропийные кодировщики используют для сжатия данных коды, длины которых пропорциональны отрицательному логарифму вероятности символа. Таким образом, наиболее вероятные символы используют наиболее короткие коды.

Согласно теореме Шеннона оптимальная длина кода для символа равна \displaystyle -\log_bP, где \displaystyle b — это количество символов, использованных для изготовления выходного кода, и \displaystyle P — вероятность входного символа.

Три самых распространённых способа кодирования энтропиии — это кодирование Хаффмана, кодирование длин серий и арифметическое кодирование. Если приблизительные характеристики энтропии потока данных предварительно известны, может быть полезен более простой статический код, такой как унарное кодирование, гамма-кодирование Элиаса, кодирование Фибоначчи, кодирование Голомба или кодирование Райса.

[править] См. также

Ранняя версия этой статьи: Энтропийное кодирование на сайте PlanetMath.(англ.)

Источник — «http://ru.wikipedia.org/wiki/%D0%AD%D0%BD%D1%82%D1%80%D0%BE%D0%BF%D0%B8%D0%B9%D0%BD%D0%BE%D0%B5_%D0%BA%D0%BE%D0%B4%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5»
На других языках