Теория информации

Теория информации (математическая теория связи) — раздел прикладной математики, аксиоматически определяющий понятие информации, её свойства и устанавливающий предельные соотношения для систем передачи данных. Как и любая математическая теория, оперирует с математическими моделями, а не с реальными физическими объектами (источниками и каналами связи). Использует, главным образом, математический аппарат теории вероятностей и математической статистики.

Основные разделы теории информации — кодирование источника (сжимающее кодирование) и канальное (помехоустойчивое) кодирование. Теория информации тесно связана с криптографией и другими смежными дисциплинами.

История

Клода Шеннона (1916—2001) называют «отцом теории информации». Разработанная им теория дала инженерам-разработчикам систем передачи данных возможность определения ёмкости коммуникационного канала. Часть теории, изучающей передачу информации, не занимается значением (семантикой) передаваемого сообщения, однако дополняющая часть теории информации обращает внимание на содержимое через сжатие с потерями субъекта сообщения, используя критерий точности.

Разработанные Шенноном в 40-х годах основы теории информации в последующие годы были существенно дополнены и расширены работами Н. Винера, В. А. Котельникова и А. Н. Колмогорова.

Применение

Достижения и методы теории информации широко используются в

• Теории кодирования
• Криптографии и Криптоанализе
• Сжатии данных
• Теории обнаружения
• Теории оценки

См. также

• Линейная частичная информация
• Единицы измерения информации
• Алгоритмическая теория информации
• Информация Фишера
• Синергетика
• Реньи, Альфред
• SZTAKI Desktop Grid

Библиография

• Claude E. Shannon, Warren Weaver. The Mathematical Theory of Communication. Univ of Illinois Press, 1963. ISBN 0-252-72548-4
• Thomas M. Cover, Joy A. Thomas. Elements of information theory New York: Wiley, 1991. ISBN 0-471-06259-6
• R. Landauer, Information is Physical Proc. Workshop on Physics and Computation PhysComp’92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1-4.
• Maxwell’s Demon: Entropy, Information, Computing, H. S. Leff and A. F. Rex, Editors, Princeton University Press, Princeton, NJ (1990). ISBN 0-691-08727-X
• Шеннон К. Работы по теории информации и кибернетике. — М.: Изд. иностр. лит., 1963. — 830 с.
• Колмогоров А. Н. Три подхода к определению понятия «Количество информации» Новое в жизни, науке, технике. Сер. «Математика, кибернетика», N1, 1991, С.24-29. Перепечатка из «Проблемы передачи информации», N1, 1965, С.1-7.
• MacKay, David. Information Theory, Inference, and Learning Algorithms. — Cambridge University Press, 2003. — ISBN 9780521642989.

Ссылки

• Теория информации в энциклопедии «Кругосвет»
• Норберт Винер «Кибернетика или Управление и связь в животном и машине»
• К. Шеннон, «Бандвагон»
• Важные публикации в теории информации (англ.)
• Традиционные подходы к количественному определению информации
• Синергетическая теория информации
• Холево А. С. Введение в квантовую теорию информации
• compression.ru