Теория информации

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Теория информации (математическая теория связи) — раздел прикладной математики, радиотехники (теория обработки сигналов), информатики, аксиоматически определяющий понятие информации[1], её свойства и устанавливающий предельные соотношения для систем передачи данных. Как и любая математическая теория, оперирует с математическими моделями, а не с реальными физическими объектами (источниками и каналами связи). Использует, главным образом, математический аппарат теории вероятностей и математической статистики.

Основные разделы теории информации — кодирование источника (сжимающее кодирование) и канальное (помехоустойчивое) кодирование. Теория информации тесно связана с криптографией и другими смежными дисциплинами.

История[править | править исходный текст]

Клода Шеннона (19162001) называют[2] «отцом теории информации». Разработанная им теория дала инженерам-разработчикам систем передачи данных возможность определения ёмкости коммуникационного канала. Часть теории, изучающей передачу информации, не занимается значением (семантикой) передаваемого сообщения, однако дополняющая часть теории информации обращает внимание на содержимое через сжатие с потерями субъекта сообщения, используя критерий точности.

Применение[править | править исходный текст]

Достижения и методы теории информации широко используются в

См. также[править | править исходный текст]

Примечания[править | править исходный текст]

Библиография[править | править исходный текст]

  • Claude E. Shannon, Warren Weaver. The Mathematical Theory of Communication. Univ of Illinois Press, 1963. ISBN 0-252-72548-4
  • Thomas M. Cover, Joy A. Thomas. Elements of information theory New York: Wiley, 1991. ISBN 0-471-06259-6
  • R. Landauer, Information is Physical Proc. Workshop on Physics and Computation PhysComp’92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1-4.
  • Maxwell’s Demon: Entropy, Information, Computing, H. S. Leff and A. F. Rex, Editors, Princeton University Press, Princeton, NJ (1990). ISBN 0-691-08727-X
  • Шеннон К. Работы по теории информации и кибернетике. — М.: Изд. иностр. лит., 1963. — 830 с.
  • Колмогоров А. Н. Три подхода к определению понятия «Количество информации» Новое в жизни, науке, технике. Сер. «Математика, кибернетика», N1, 1991, С.24-29. Перепечатка из «Проблемы передачи информации», N1, 1965, С.1-7.
  • MacKay, David. Information Theory, Inference, and Learning Algorithms. — Cambridge University Press, 2003. — ISBN 9780521642989

Ссылки[править | править исходный текст]