Формула энтропии в термодинамике и теории информации¶
Формула энтропии — математическое выражение, определяющее количественную меру неупорядоченности (беспорядка) физической системы либо меру неопределённости случайной величины. Существует несколько исторически сложившихся форм записи: термодинамическая формула Клаузиуса, статистическая формула Больцмана и информационная формула Шеннона. Все они описывают одно и то же фундаментальное понятие с разных позиций — макроскопической, микроскопической и информационной.
¶Термодинамическая энтропия (формула Клаузиуса)
В классической термодинамике энтропию ввёл Рудольф Клаузиус в 1865 году. Для обратимого процесса изменение энтропии определяется как отношение переданного тепла к абсолютной температуре:
- dS = δQ / T — дифференциальная форма;
- ΔS = ∫ δQ / T — интегральная форма для конечного процесса.
Здесь δQ — элементарное количество теплоты, полученное системой, T — абсолютная температура. Энтропия — функция состояния: её изменение не зависит от пути перехода, а определяется только начальным и конечным состояниями. Единица измерения в СИ — джоуль на кельвин (Дж/К).
Для идеального газа при обратимом процессе из первого и второго начал термодинамики получают выражение, связывающее энтропию с объёмом и температурой:
ΔS = Cv·ln(T₂/T₁) + R·ln(V₂/V₁),
где Cv — молярная теплоёмкость при постоянном объёме, R — универсальная газовая постоянная. Второе начало термодинамики утверждает: в замкнутой системе энтропия не убывает (ΔS ≥ 0), а в состоянии равновесия достигает максимума.
¶Статистическая энтропия (формула Больцмана)
Людвиг Больцман связал термодинамическую энтропию с числом микросостояний, реализующих данное макросостояние:
S = k · ln W,
где k — постоянная Больцмана (≈ 1,38·10⁻²³ Дж/К), W — термодинамическая вероятность (число микросостояний). Формула высечена на надгробии Больцмана в Вене. Она объясняет рост энтропии как переход системы к более вероятному состоянию: чем больше способов реализовать макросостояние, тем выше энтропия.
Позднее Макс Планк уточнил вид зависимости, и в современной записи используют натуральный логарифм. Статистический подход согласуется с термодинамическим: усреднение по микросостояниям даёт макроскопические величины Клаузиуса.
¶Информационная энтропия (формула Шеннона)
Клод Шеннон в 1948 году ввёл меру неопределённости для дискретной случайной величины с вероятностями p₁, p₂, …, pₙ:
H = −Σ pᵢ · log₂ pᵢ.
Величина H измеряется в битах и максимальна при равновероятных исходах (H = log₂ n), обращаясь в нуль, когда исход предопределён. Формула Шеннона формально совпадает с энтропией Гиббса в статистической физике с точностью до множителя. Это сходство легло в основу теории информации и кибернетики.
¶Энтропия в других разделах
- Энтропия Гиббса: S = −k·Σ pᵢ·ln pᵢ для ансамбля состояний.
- Дифференциальная энтропия — для непрерывных распределений.
- Энтропия Реньи и энтропия Цаллиса — обобщения с параметром, применяемые в нелинейной динамике.
- Энтропия Колмогорова — Синая — характеристика динамических систем.
¶Применение
Формула энтропии используется в термодинамике (расчёт циклов, КПД тепловых машин), химии (направление реакций, энергия Гиббса), теории информации (сжатие данных, пропускная способность канала), криптографии (оценка стойкости ключей), статистической физике и машинном обучении (критерии информационного выигрыша). В астрофизике энтропию применяют к чёрным дырам и реликтовому излучению.
¶Значение
Формула энтропии — одно из немногих соотношений, объединяющих физику, математику и теорию информации. Через неё формулируется второе начало термодинамики — принцип, задающий направление необратимых процессов («стрелу времени»). Понятие остаётся предметом активных исследований в неравновесной термодинамике и квантовой теории.
Источники: учебники по общей физике (Савельев, Сивухин), курсы термодинамики и статистической физики (Ландау, Лифшиц), работы К. Шеннона по теории информации, справочные издания по физике и математике.