열역학(thermodynamics)에서 엔트로피(entropy)는 계의 열적 상태를 규정하는 거시적 상태 함수(state function)이다. 19세기 중반 루돌프 클라우지우스(Rudolf Clausius)에 의해 도입된 이 개념은 단순히 열의 이동을 설명하는 것을 넘어, 자연계에서 발생하는 모든 물리적 과정의 방향성을 결정짓는 핵심적인 척도로 기능한다. 고전 열역학적 관점에서 엔트로피는 계가 흡수하거나 방출하는 열(heat)과 그 과정이 일어나는 온도(temperature)의 비로 정의되며, 이는 에너지의 흐름이 갖는 비가역적 성격을 수학적으로 정식화한 것이다.

가역 과정(reversible process)에서 엔트로피의 미소 변화량 $ dS $는 다음과 같이 정의된다.

$$ dS = \frac{\delta Q_{rev}}{T} $$

여기서 $ Q_{rev} $는 가역 경로를 통해 계로 전달된 미소 열량이며, $ T $는 계의 절대온도이다. 엔트로피는 경로에 의존하지 않는 상태 함수이므로, 임의의 두 상태 사이의 엔트로피 차이는 상태 변화가 가역적이든 비가역적이든 관계없이 동일한 값을 가진다. 그러나 실제 자연계에서 일어나는 모든 자발적 과정은 비가역 과정(irreversible process)이다. 비가역 과정에서는 계 내부의 마찰, 비균일한 팽창, 열전도 등으로 인해 추가적인 엔트로피가 생성되므로, 실제 엔트로피 변화량은 가역 과정을 가정했을 때보다 항상 크게 나타난다.

이러한 성질은 열역학 제2법칙의 핵심인 엔트로피 증가의 원리로 이어진다. 외부와 에너지 및 물질을 교환하지 않는 고립계(isolated system)에서 전체 엔트로피는 결코 감소하지 않으며, 자발적인 변화는 항상 엔트로피가 증가하는 방향으로 진행된다. 이는 에너지가 보존된다는 열역학 제1법칙만으로는 설명할 수 없는 자연 현상의 비대칭성을 규정한다. 즉, 에너지는 양적으로 보존되지만, 질적으로는 일을 수행할 수 있는 유용한 형태에서 무용한 형태로 끊임없이 전환된다는 것을 의미한다.

엔트로피의 증가는 계가 수행할 수 있는 유효한 일(work)의 상실과 직결된다. 어떠한 열기관(heat engine)도 공급받은 열을 100% 일로 전환할 수 없다는 카르노 정리(Carnot’s theorem)는 엔트로피 개념과 밀접하게 연관된다. 비가역 과정이 발생할 때마다 계의 엔트로피는 증가하며, 이는 계가 원래 상태로 돌아가기 위해 주변에 더 많은 열을 방출해야 함을 시사한다. 따라서 엔트로피는 에너지의 분산 정도나 무질서도를 나타내는 지표로 해석될 수 있으며, 계가 열역학적 평형(thermodynamic equilibrium) 상태에 도달했을 때 엔트로피는 최댓값을 갖게 된다.

클라우지우스는 순환 과정(cyclic process)에 대한 연구를 통해 임의의 순환 적분에서 다음의 부등식이 성립함을 증명하였다.

$$ \oint \frac{\delta Q}{T} \le 0 $$

이 식을 클라우지우스 부등식(Clausius inequality)이라 하며, 등호는 가역 순환 과정에서만 성립하고 부등호는 비가역 과정이 포함된 경우를 의미한다. 이 부등식은 열역학적 계의 거시적 거동을 제한하는 근본적인 원리로 작용한다. 고립계의 엔트로피가 최대가 되려는 경향은 우주 전체의 진화 방향을 설명하는 기초가 되며, 거시적 세계에서 과거와 미래를 구분 짓는 시간의 화살(arrow of time)을 물리적으로 정의하는 근거가 된다.

가역 과정과 비가역 과정에서 발생하는 열량의 변화를 바탕으로 엔트로피의 수학적 정의를 고찰한다.

열량 변화와 온도의 비율로 정의되는 상태 함수로서의 엔트로피 성질을 설명한다.

고립계에서 엔트로피가 결코 감소하지 않는다는 자연계의 근본적인 방향성을 서술한다.

경로에 무관한 엔트로피의 특성과 다양한 열역학적 과정에서의 변화량 산출 방법을 다룬다.

부피, 압력, 온도의 변화에 따른 이상 기체 계의 엔트로피 산출 공식을 유도한다.

절대 영도에서 결정성 물질의 엔트로피가 갖는 기준점과 그 물리적 의의를 설명한다.

열역학에서 정의된 엔트로피(Entropy)는 거시적인 에너지 흐름과 비가역성을 다루는 상태 함수이지만, 그 물리적 실체를 이해하기 위해서는 계를 구성하는 개별 입자들의 미시적 거동을 고려해야 한다. 루트비히 볼츠만(Ludwig Boltzmann)은 이를 통계역학(Statistical Mechanics)의 관점에서 재해석하여, 거시적 상태와 미시적 상태 사이의 통계적 연결 고리를 마련하였다. 이러한 접근법은 엔트로피를 단순히 열의 이동에 따른 결과물이 아니라, 계가 가질 수 있는 확률적 분포의 특성으로 규정한다.

통계역학에서 거시 상태(Macrostate)는 압력, 부피, 온도와 같이 직접적으로 측정 가능한 물리량으로 규정되는 계의 상태를 의미한다. 반면 미시 상태(Microstate)는 계를 구성하는 모든 개별 입자의 위치와 운동량의 구체적인 조합을 뜻한다. 하나의 거시 상태에는 이를 만족하는 수많은 미시 상태가 대응될 수 있으며, 특정 거시 상태에 대응하는 미시 상태의 총 개수를 상태 수(Number of states) 또는 열역학적 확률(Thermodynamic probability)이라 하며 통상 $\Omega$로 표기한다.

볼츠만은 엔트로피 $S$가 미시 상태의 수 $\Omega$의 로그 함수에 비례한다는 사실을 발견하였다. 이는 다음과 같은 볼츠만 공식(Boltzmann’s entropy formula)으로 표현된다.

$$S = k_B \ln \Omega$$

여기서 $k_B$는 볼츠만 상수(Boltzmann constant)이다. 엔트로피 정의에 로그 함수가 도입된 이유는 엔트로피가 크기 성질(Extensive property)을 가져야 한다는 물리적 요청 때문이다. 서로 독립적인 두 계 $A$와 $B$를 결합했을 때, 전체 계의 미시 상태 수 $\Omega_{AB}$는 각 계의 상태 수의 곱인 $\Omega_A \times \Omega_B$가 되지만, 전체 엔트로피 $S_{AB}$는 각 계의 엔트로피 합인 $S_A + S_B$가 되어야 한다. 이러한 곱셈적 성질과 덧셈적 성질 사이의 대응 관계를 만족하는 수학적 도구가 바로 로그 함수이다.

통계역학적 관점에서 열역학 제2법칙은 절대적인 금지 법칙이 아닌, 압도적으로 높은 확률에 의한 통계적 경향성으로 이해된다. 고립계가 시간이 지남에 따라 엔트로피가 증가하는 방향으로 진화하는 이유는, 엔트로피가 높은 거시 상태가 포함하는 미시 상태의 수가 엔트로피가 낮은 상태보다 기하급수적으로 많기 때문이다. 이는 에르코드 가설(Ergodic hypothesis)에 근거하여, 계가 충분한 시간 동안 모든 가능한 미시 상태를 균등한 확률로 탐색한다는 전제하에 성립한다. 따라서 계는 자연스럽게 가장 많은 미시 상태를 보유한 거시 상태, 즉 평형 상태로 수렴하게 된다.

조사이어 윌러드 깁스(Josiah Willard Gibbs)는 볼츠만의 정의를 일반화하여 임의의 확률 분포를 가진 계에 적용 가능한 깁스 엔트로피(Gibbs entropy)를 제안하였다. 계가 특정 미시 상태 $i$에 머무를 확률을 $p_i$라 정의할 때, 엔트로피는 다음과 같이 기술된다.

$$S = -k_B \sum_{i} p_i \ln p_i$$

이 정의는 계가 모든 미시 상태를 동일한 확률 $p_i = 1/\Omega$로 가질 때, 즉 마이크로카노니컬 앙상블(Microcanonical ensemble)의 조건에서 볼츠만 공식과 수학적으로 일치한다. 깁스의 접근법은 온도와 화학 퍼텐셜이 고정된 정준 앙상블(Canonical ensemble)이나 대정준 앙상블(Grand canonical ensemble)과 같은 다양한 물리적 상황으로 통계역학을 확장하는 기초가 되었다.

이러한 통계적 해석은 엔트로피를 계의 무질서도(Disorder) 또는 정보의 결여 상태를 측정하는 척도로 이해하게 한다. 미시 상태에 대한 구체적인 정보가 적을수록, 즉 우리가 알지 못하는 미시적 조합의 수가 많을수록 엔트로피는 커진다. 이러한 통찰은 훗날 클로드 섀넌(Claude Shannon)에 의해 정보이론(Information theory)에서의 정보량 개념으로 계승되며, 물리학을 넘어 통계적 추론과 데이터 과학의 핵심적인 원리로 자리 잡게 된다.

계가 가질 수 있는 미시적 상태의 수와 거시적 엔트로피 사이의 로그 관계를 고찰한다.

엔트로피를 계의 무질서한 정도나 특정 상태가 나타날 확률로 이해하는 관점을 서술한다.

시간 평균과 상태 평균의 동일성을 전제로 하는 통계역학의 기초 가설을 설명한다.

일반화된 확률 분포를 이용한 엔트로피 정의와 양자역학적 계로의 확장을 다룬다.

고전적 위상 공간에서 확률 밀도 함수를 이용해 정의되는 깁스 엔트로피를 설명한다.

밀도 행렬을 이용하여 양자 상태의 중첩과 얽힘에 따른 엔트로피를 정의한다.

클로드 섀넌(Claude Shannon)은 1948년 발표한 논문 “통신의 수학적 이론(A Mathematical Theory of Communication)”을 통해 정보이론(Information Theory)의 학문적 토대를 구축하였으며, 여기서 엔트로피를 정보의 불확실성을 측정하는 핵심적인 척도로 정의하였다. 정보이론에서의 엔트로피는 어떤 확률 변수가 가질 수 있는 상태들에 담긴 평균 정보량을 의미하며, 이는 특정 사건이 발생했을 때 얻게 되는 정보량(Information Content)의 기댓값으로 이해할 수 있다. 정보의 크기는 해당 사건이 발생할 확률에 반비례한다는 직관을 바탕으로, 확률이 낮은 사건일수록 더 많은 정보를 담고 있다고 간주한다.

개별 사건이 갖는 정보의 가치를 정량화하기 위해 자기 정보(Self-information)라는 개념을 도입한다. 확률 변수 $ X $의 특정 상태 $ x_i $가 발생할 확률을 $ P(x_i) $라고 할 때, 해당 사건의 자기 정보 $ I(x_i) $는 다음과 같이 정의된다. $ I(x_i) = -_b P(x_i) $ 여기서 로그의 밑 $ b $가 2인 경우 정보량의 단위는 비트(bit)가 되며, 자연로그를 사용할 경우 나트(nat)를 단위로 사용한다. 이 정의에 따르면 확률이 1인 확실한 사건의 정보량은 0이며, 확률이 낮아질수록 정보량은 무한히 증가한다.

새넌 엔트로피(Shannon Entropy)는 이러한 자기 정보들을 확률 분포 전체에 대해 가중 평균한 값이다. 이산 확률 변수 $ X $가 $ n $개의 가능한 상태를 가질 때, 엔트로피 $ H(X) $는 다음과 같은 수식으로 표현된다. $$ H(X) = E[I(X)] = -\sum_{i=1}^{n} P(x_i) \log_b P(x_i) $$ 이 수식은 통계역학에서 미시 상태의 확률 분포를 통해 정의되는 깁스 엔트로피(Gibbs Entropy)와 수학적으로 동일한 형태를 띤다. 엔트로피는 확률 변수의 분포가 균등할수록, 즉 어떤 상태가 나타날지 예측하기 어려울수록 높은 값을 가진다. 모든 사건의 확률이 동일한 균등 분포(Uniform Distribution)에서 엔트로피는 최댓값 $ _b n $을 가지며, 특정 사건 하나만이 발생할 확률이 1인 경우에는 최솟값 0을 갖는다.

정보이론에서 엔트로피가 갖는 가장 중요한 함의 중 하나는 데이터 압축(Data Compression)의 이론적 한계를 규정한다는 점이다. 섀넌의 정보원 부호화 정리(Source Coding Theorem)에 따르면, 정보원에서 발생하는 메시지를 손실 없이 부호화하기 위해 필요한 평균 비트 수의 하한선은 해당 정보원의 엔트로피와 같다. 이는 엔트로피가 정보가 포함하고 있는 근본적인 복잡성(Complexity) 혹은 중복되지 않는 순수한 정보의 양을 나타냄을 의미한다. 따라서 엔트로피는 효율적인 통신 시스템을 설계하고 데이터를 최적으로 전송하기 위한 수학적 기준점이 된다.

엔트로피는 또한 두 확률 변수 사이의 관계를 분석하는 데 활용된다. 조건부 엔트로피(Conditional Entropy)는 한 변수의 값을 알 때 다른 변수가 가질 수 있는 남아있는 불확실성을 측정하며, 상호 정보량(Mutual Information)은 한 변수를 통해 다른 변수에 대해 얻을 수 있는 정보의 양을 나타낸다. 이러한 개념들은 통신 채널의 잡음 속에서 정보를 신뢰성 있게 전달할 수 있는 최대 속도인 채널 용량(Channel Capacity)을 산출하는 기초가 된다. 결과적으로 정보이론에서의 엔트로피는 물리적 계의 무질서도를 넘어, 현대 디지털 통신과 데이터 과학의 논리적 근간을 이루는 정량적 도구로 기능한다.¹⁾

정보원으로부터 발생하는 정보량의 평균값으로서 엔트로피를 정의하고 그 성질을 분석한다.

개별 사건이 발생하는 확률에 따른 정보의 가치와 측정 단위를 설명한다.

엔트로피가 데이터 압축의 이론적 한계치로 작용하는 원리를 서술한다.

두 확률 변수 사이의 의존성과 정보 전달 과정에서의 손실을 측정하는 개념을 다룬다.

잡음이 존재하는 채널에서 정보를 신뢰성 있게 전달할 수 있는 최대 속도를 고찰한다.

두 확률 분포 사이의 차이를 측정하는 상대적 엔트로피의 개념을 설명한다.

물리학과 정보이론을 넘어 우주론, 생물학, 경제학 등 다양한 분야에서 활용되는 엔트로피 개념을 다룬다.

우주의 진화 과정에서 엔트로피가 갖는 역할과 시간의 비가역적 흐름을 고찰한다.

엔트로피가 최대치에 도달하여 더 이상 유효한 에너지가 남지 않는 우주의 종말을 설명한다.

블랙홀의 사건의 지평선 면적과 엔트로피 사이의 관계를 다루는 호킹-베켄슈타인 원리를 서술한다.

질서를 유지하려는 생명 현상과 사회 시스템 내에서의 자원 및 정보 흐름을 엔트로피로 해석한다.

생명체가 외부로부터 저엔트로피 에너지를 흡수하여 체내 질서를 유지하는 메커니즘을 설명한다.

에너지와 물질의 비가역적 변환 과정을 통해 경제 활동의 한계를 분석하는 관점을 다룬다.