Энтропия

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск
⚙️  Термодинамические потенциалы
Thermodynamics navigation image.svg
Термодинамика
Разделы
См. также «Физический портал»

Энтропи́я (от др.-греч. ἐντροπία «поворот», «превращение») — широко используемый в естественных и точных науках термин. Впервые введён в рамках термодинамики как функция состояния термодинамической системы, определяющая меру необратимого рассеивания энергии. В статистической физике энтропия характеризует вероятность осуществления какого-либо макроскопического состояния. Кроме физики, термин широко употребляется в математике: теории информации и математической статистике.

Энтропия может интерпретироваться как мера неопределённости (неупорядоченности) некоторой системы, например, какого-либо опыта (испытания), который может иметь разные исходы, а значит, и количество информации[1][2]. Таким образом, другой интерпретацией энтропии является информационная ёмкость системы. С данной интерпретацией связан тот факт, что создатель понятия энтропии в теории информации (Клод Шеннон) сначала хотел назвать эту величину информацией.

Понятие информационной энтропии применяется как в теории информации и математической статистике, так и в статистической физике (энтропия Гиббса и её упрощённый вариант — энтропия Больцмана)[3][4]. Математический смысл информационной энтропии — это логарифм числа доступных состояний системы (основание логарифма может быть различным, оно определяет единицу измерения энтропии)[5]. Такая функция от числа состояний обеспечивает свойство аддитивности энтропии для независимых систем. Причём, если состояния различаются по степени доступности (то есть не равновероятны), под числом состояний системы нужно понимать их эффективное количество, которое определяется следующим образом. Пусть состояния системы равновероятны и имеют вероятность , тогда число состояний , а

В случае разных вероятностей состояний рассмотрим средневзвешенную величину где — эффективное количество состояний. Из данной интерпретации непосредственно вытекает выражение для информационной энтропии Шеннона

Подобная интерпретация справедлива и для энтропии Реньи, которая является одним из обобщений понятия информационная энтропия, но в этом случае иначе определяется эффективное количество состояний системы (можно показать, что энтропии Реньи соответствует эффективное количество состояний, определяемое как среднее степенное взвешенное с параметром от величин )[6].

Следует заметить, что интерпретация формулы Шеннона на основе взвешенного среднего не является её обоснованием. Строгий вывод этой формулы может быть получен из комбинаторных соображений с помощью асимптотической формулы Стирлинга и заключается в том, что комбинаторность распределения (т. е. число способов, которыми оно может быть реализовано) после взятия логарифма и нормировки асимптотически совпадает с выражением для энтропии в виде, предложенном Шенноном.[7]

В широком смысле, в каком слово часто употребляется в быту, энтропия означает меру неупорядоченности или хаотичности системы: чем меньше элементы системы подчинены какому-либо порядку, тем выше энтропия.

Величина, противоположная энтропии, именуется негэнтропией или, реже, экстропией.

Употребление в различных дисциплинах[править | править вики-текст]

В термодинамике[править | править вики-текст]

Понятие энтропии впервые было введено Клаузиусом в термодинамике в 1865 году для определения меры необратимого рассеивания энергии, меры отклонения реального процесса от идеального. Определённая как сумма приведённых теплот, она является функцией состояния и остаётся постоянной при замкнутых обратимых процессах, тогда как в необратимых — её изменение всегда положительно.

Математически энтропия определяется как функция состояния системы, определенная с точностью до произвольной постоянной. Разность энтропий в двух равновесных состояниях 1 и 2, по определению, равна приведённому количеству тепла (), которое надо сообщить системе, чтобы перевести ее из состояния 1 в состояние 2 по любому квазистатическому пути[8]:

. (1)

Так как энтропия определена с точностью до произвольной постоянной, то можно условно принять состояние 1 за начальное и положить . Тогда

, (2.)

Здесь интеграл берется для произвольного квазистатического процесса. Дифференциал функции имеет вид

. (3)

Энтропия устанавливает связь между макро- и микро- состояниями. Особенность данной характеристики заключается в том, что это единственная функция в физике, которая показывает направленность процессов. Поскольку энтропия является функцией состояния, то она не зависит от того, как осуществлён переход из одного состояния системы в другое, а определяется только начальным и конечным состояниями системы.

См. также[править | править вики-текст]

Примечания[править | править вики-текст]

  1. Зубарев Д. Н., Морозов В. Г. Энтропия // Физическая энциклопедия : [в 5 т.] / Гл. ред. А. М. Прохоров. — М.: Советская энциклопедия (тт. 1—2); Большая Российская энциклопедия (тт. 3—5), 1988—1999. — ISBN 5-85270-034-7.
  2. Энтропия // Большая советская энциклопедия : [в 30 т.] / гл. ред. А. М. Прохоров. — 3-е изд. — М. : Советская энциклопедия, 1969—1978.
  3. http://emf.pskgu.ru/ebooks/astros/0401_O.pdf
  4. http://profbeckman.narod.ru/poryadok/Doclad_poryadok.pdf
  5. Вентцель Е. С., 1969, с. 468-475.
  6. Зарипов Р. Г., 2005, с. 13-22, 108-125.
  7. Джейнс Э. Т., 1982.
  8. Сивухин Д. В. Общий курс физики. — М., 1979. — Т. II. Термодинамика и молекулярная физика. — С. 127.

Литература[править | править вики-текст]

  • Шамбадаль П. Развитие и приложение понятия энтропии. — М.: Наука, 1967. — 280 с.
  • Мартин Н., Ингленд Дж. Математическая теория энтропии. — М.: Мир, 1988. — 350 с.
  • Хинчин А. Я. Понятие энтропии в теории вероятностей // Успехи математических наук. — 1953. — Т. 8, вып. 3(55). — С. 3-20.
  • Гленсдорф П., Пригожин И. Термодинамическая теория структуры, устойчивости и флуктуаций. — М., 1973.
  • Пригожин И., Стенгерс И. Порядок из хаоса. Новый диалог человека с природой. — М., 1986.
  • Брюллюэн Л. Наука и теория информации. — М., 1960.
  • Винер Н. Кибернетика и общество. — М., 1958.
  • Винер Н. Кибернетика или управление и связь в животном и машине. — М., 1968.
  • Де Гроот С., Мазур П. Неравновесная термодинамика. — М., 1964.
  • Зоммерфельд А. Термодинамика и статистическая физика. — М., 1955.
  • Петрушенко Л. А. Самодвижение материи в свете кибернетики. — М., 1974.
  • Эшби У. Р. Введение в кибернетику. — М., 1965.
  • Яглом А. М., Яглом И. М. Вероятность и информация. — М., 1973.
  • Волькенштейн М. В. Энтропия и информация. — М.: Наука, 1986. — 192 с.
  • Вентцель Е. С. Теория вероятностей. — М.: Наука, 1969. — 576 с.
  • Зарипов Р. Г. Новые меры и методы в теории информации. — Казань: Изд-во Казан. гос. техн. ун-та, 2005. — 364 с.
  • Джейнс Э. Т. О логическом обосновании методов максимальной энтропии // ТИИЭР. — 1982. — Т. 70, вып. 9. — С. 33-51.
Wikiquote-logo.svg
В Викицитатнике есть страница по теме
Энтропия