Энтропия

Энтропи́я (от др.-греч. ἐντροπία «поворот», «превращение») в естественных науках — мера беспорядка системы, состоящей из многих элементов. В частности, в статистической физике — мера вероятности осуществления какого-либо макроскопического состояния; в теории информации — мера неопределённости какого-либо опыта (испытания), который может иметь разные исходы, а значит и количество информации; в исторической науке, для экспликации феномена альтернативности истории (инвариантности и вариативности исторического процесса).

Энтропия в информатике — степень неполноты, неопределённости знаний.

Понятие энтропии впервые было введено Клаузиусом в термодинамике в 1865 году для определения меры необратимого рассеивания энергии, меры отклонения реального процесса от идеального. Определённая как сумма приведённых теплот, она является функцией состояния и остаётся постоянной при обратимых процессах, тогда как в необратимых — её изменение всегда положительно.

$dS = \frac{\delta Q}{T}$,

где $dS$ — приращение энтропии; $\delta Q$ — минимальная теплота, подведенная к системе; T — абсолютная температура процесса;

Употребление в различных дисциплинах

• Термодинамическая энтропия — термодинамическая функция, характеризующая меру неупорядоченности термодинамической системы, то есть неоднородность расположения и движения ее частиц.
• Информационная энтропия — мера неопределённости источника сообщений, определяемая вероятностями появления тех или иных символов при их передаче.
• Дифференциальная энтропия — энтропия для непрерывных распределений
• Энтропия динамической системы — в теории динамических систем мера хаотичности в поведении траекторий системы.
• Энтропия отражения — часть информации о дискретной системе, которая не воспроизводится при отражении системы через совокупность своих частей.
• Энтропия в теории управления — мера неопределённости состояния или поведения системы в данных условиях.

Энтропия — функция состояния системы, равная в равновесном процессе количеству теплоты, сообщённой системе или отведённой от системы, отнесённому к термодинамической температуре системы.

Энтропия — функция, устанавливающая связь между макро- и микро- состояниями; единственная функция в физике, которая показывает направленность процессов. Энтропия — функция состояния системы, которая не зависит от перехода из одного состояния в другое, а зависит только от начального и конечного положения системы.

См. также

• Хаос
• Энтальпия
• Негэнтропия
• Энергия
• Вероятность
• Второе начало термодинамики
• Термодинамическая энтропия

Литература

• Шамбадаль П. Развитие и приложение понятия энтропии. — М.: Наука, 1967. — 280 с.
• Мартин Н., Ингленд Дж. Математическая теория энтропии. М.: Мир, 1988. 350с.
• Хинчин А. Я. Понятие энтропии в теории вероятностей // Успехи математических наук. 1953. Т. 8. В. 3. С. 2-20.
• Гленсдорф П., Пригожин И. Термодинамическая теория структуры, устойчивости и флуктуаций. М.: 1973.
• Пригожин И., Стенгерс И. Порядок из хаоса. Новый диалог человека с природой. М.: 1986.
• Брюллюэн Л. Наука и теория информации. М.: 1960.
• Винер Н. Кибернетика и общество. М.: 1958.
• Винер Н. Кибернетика или управление и связь в животном и машине. М.: 1968.
• Де Гроот С., Мазур П. Неравновесная термодинамика. М.: 1964.
• Зоммерфельд А. Термодинамика и статистическая физика. М.: 1955.
• Петрушенко Л. А. Самодвижение материи в свете кибернетики. М.: 1974.
• Эшби У. Р. Введение в кибернетику. М.: 1965.
• Яглом А. М., Яглом И. М. Вероятность и информация. М.: 1973.
• Волькенштейн М. В. Энтропия и информация. — М.: Наука, 1986. — 192 с.

Ссылки

• Энтропия — история и определение термина
• Информационные функции и энтропия Больцмана