차이

문서의 선택한 두 판 사이의 차이를 보여줍니다.

--- 엔트로피 [2026/04/13 10:57] – 엔트로피 sync flyingtext
+++ 엔트로피 [2026/04/13 10:57] (현재) – 엔트로피 sync flyingtext
@@ 줄 60: / 줄 60: @@
 === 열역학 제2법칙과 엔트로피 증가의 원리 ===
-고립계에서 엔트로피가 결코 감소하지 않는다는 자연계의 근본적인 방향성을 서술한다.
+[[열역학 제1법칙]]이 에너지의 양적 보존을 규정한다면, [[열역학 제2법칙]](Second Law of Thermodynamics)은 에너지 변환의 방향성과 질적 저하를 다룬다. 자연계에서 발생하는 모든 자발적인 과정은 특정 방향으로만 진행되며, 이를 거시적으로 설명하기 위해 도입된 물리량이 [[엔트로피]](entropy)이다. [[루돌프 클라우지우스]](Rudolf Clausius)는 [[카르노 사이클]](Carnot cycle)의 분석을 확장하여, 임의의 순환 과정에서 계가 외부와 교환하는 열량과 온도의 관계를 나타내는 [[클라우지우스 부등식]](Clausius inequality)을 유도하였다.
+클라우지우스 부등식은 다음과 같이 표현된다.
+$$ \oint \frac{\delta Q}{T} \le 0 $$
+위 식에서 $\delta Q$는 계로 유입된 미소 열량이며, $T$는 열 교환이 일어나는 경계면의 [[절대 온도]]이다. 등호는 모든 과정이 [[가역 과정]](reversible process)인 경우에만 성립하며, 실제 자연계의 모든 과정과 같이 [[비가역 과정]](irreversible process)이 포함된 경우에는 적분값이 항상 0보다 작다. 이는 비가역성이 존재할 때 계의 열적 상태 변화가 단순한 열 흐름 이상의 내부적 변화를 수반함을 시사한다.
+엔트로피 증가의 원리는 이러한 클라우지우스 부등식을 [[고립계]](isolated system)에 적용함으로써 도출된다. 외부와 에너지 및 물질을 교환하지 않는 고립계 내에서 임의의 변화가 일어날 때, 계의 엔트로피 변화량 $dS$는 항상 다음의 관계를 만족한다.
+$$ dS \ge \frac{\delta Q}{T} $$
+고립계에서는 외부와의 열 교환이 차단되어 $\delta Q = 0$이므로, 결과적으로 $dS \ge 0$이라는 결론에 도달한다. 즉, 고립계의 엔트로피는 시간이 흐름에 따라 결코 감소하지 않으며, 오직 증가하거나 [[열적 평형]](thermal equilibrium) 상태에서 최대치에 도달하여 일정하게 유지될 뿐이다. 이를 엔트로피 증가의 원리(Principle of increase of entropy)라고 한다.
+이 원리는 자연계의 비가역성을 규정하는 근본적인 법칙이다. 실제 물리 과정에서는 마찰, 점성, 급격한 팽창, 화학 반응 등 다양한 원인에 의해 [[에너지 소산]](energy dissipation)이 발생한다. 이러한 비가역적 요인들은 계 내부에서 추가적인 엔트로피를 생성시키며, 이를 엔트로피 생성(entropy generation, $S_{gen}$)이라고 한다. 따라서 계의 전체 엔트로피 변화는 외부와의 열 교환에 의한 엔트로피 전달량과 계 내부에서 생성된 엔트로피의 합으로 정의된다.
+$$ \Delta S_{sys} = \int \frac{\delta Q}{T} + S_{gen} $$
+여기서 $S_{gen}$은 가역 과정일 때 0이며, 비가역 과정일 때는 항상 양의 값을 갖는다. 엔트로피 생성량은 해당 과정이 얼마나 비가역적인지를 나타내는 정량적 척도가 된다. 계와 그 주변을 모두 포함하는 전체 시스템인 ’우주’는 그 자체로 하나의 거대한 고립계로 간주될 수 있으므로, 우주 전체의 엔트로피는 물리적 변화가 일어날 때마다 항상 증가하는 방향으로 나아간다.
+엔트로피 증가의 원리에 따르면, 고립계는 종국적으로 엔트로피가 최대가 되는 상태인 열적 평형에 도달하게 된다. 이 상태에서는 더 이상 거시적인 에너지의 흐름이나 유용한 일의 변환이 불가능해진다. 이러한 관점은 우주론적 규모로 확장되어, 우주가 결국 모든 온도 차이가 사라지고 활동이 정지되는 [[열적 죽음]](heat death) 상태에 이를 것이라는 가설의 물리적 근거가 되었다. 결국 엔트로피는 단순한 [[상태 함수]]를 넘어, 자연이 무질서와 확률적 평형을 향해 나아가는 거스를 수 없는 시간의 방향성을 상징한다.
 ==== 상태 함수로서의 특성과 계산 ====
@@ 줄 126: / 줄 146: @@
 === 열역학 제3법칙과 절대 엔트로피 ===
-[[열역학 제1법칙]]과 [[열역학 제2법칙]]이 에너지의 보존과 엔트로피 변화의 방향성을 규정한다면, [[열역학 제3법칙]](The third law of thermodynamics)은 계의 엔트로피가 도달할 수 있는 하한선을 정의함으로써 엔트로피의 절대적인 기준점을 설정한다. 1906년 [[발터 네른스트]](Walther Nernst)에 의해 제창된 이 법칙은 온도가 [[절대 영도]](absolute zero, $0 \, \text{K}$)에 가까워짐에 따라 계의 엔트로피 변화가 어떻게 거동하는지를 다룬다. 네른스트는 화학 반응에서의 자유 에너지 변화를 연구하던 중, 온도가 낮아짐에 따라 반응 전후의 엔트로피 차이가 점차 사라진다는 사실을 발견하고 이를 ’네른스트의 열 정리(Nernst heat theorem)’로 명명하였다.
+[[열역학 제1법칙]]과 [[열역학 제2법칙]]이 에너지의 보존과 [[엔트로피]] 변화의 방향성을 규정한다면, [[열역학 제3법칙]](The third law of thermodynamics)은 계의 엔트로피가 도달할 수 있는 하한선을 정의함으로써 엔트로피의 절대적인 기준점을 설정한다. 1906년 [[발터 네른스트]](Walther Nernst)에 의해 제창된 이 법칙은 온도가 [[절대 영도]](absolute zero, $0\,\text{K}$)에 가까워짐에 따라 계의 엔트로피 변화가 어떻게 거동하는지를 다룬다. [[발터 네른스트|네른스트]]는 화학 반응에서의 [[자유 에너지]] 변화를 연구하던 중, 온도가 낮아짐에 따라 반응 전후의 엔트로피 변화량($\Delta S$)이 0으로 수렴한다는 사실을 발견하고 이를 ’[[네른스트의 열 정리]](Nernst heat theorem)’로 명명하였다.
-이후 [[막스 플랑크]](Max Planck)는 네른스트의 정리를 더욱 일반화하여, 온도가 절대 영도에 수렴할 때 순수한 [[완전 결정]](perfect crystal) 상태인 물질의 엔트로피는 정확히 0이라는 결론을 도출하였다. 이를 수식으로 표현하면 다음과 같다.
+이후 [[막스 플랑크]](Max Planck)는 네른스트의 정리를 더욱 일반화하여, 온도가 절대 영도에 수렴할 때 순수한 [[완전 결정]](perfect crystal) 상태인 물질의 엔트로피는 정확히 0이라는 결론을 도출하였다. 이는 엔트로피를 상대적인 변화량이 아닌 [[상태량]] 자체의 절대값으로 취급할 수 있는 근거가 된다. 이를 수식으로 표현하면 다음과 같다.
 $$\lim_{T \to 0} S = 0$$
@@ 줄 134: / 줄 154: @@
 여기서 $S$는 엔트로피, $T$는 절대 온도를 의미한다. 이 법칙은 엔트로피가 단순히 상태 변화를 나타내는 상대적인 척도에 머무르지 않고, 특정 기준점에서 측정 가능한 절대적인 물리량임을 시사한다. 따라서 임의의 온도 $T$에서 물질의 [[절대 엔트로피]](absolute entropy)는 절대 영도에서부터 해당 온도까지 가열하는 과정에서 발생하는 엔트로피 변화량을 적분하여 산출할 수 있다.
-[[통계역학]](statistical mechanics)의 관점에서 열역학 제3법칙은 계의 [[미시 상태]](microstate)와 밀접하게 관련된다. [[루트비히 볼츠만]](Ludwig Boltzmann)의 엔트로피 공식에 따르면, 엔트로피는 계가 가질 수 있는 미시 상태의 수 $W$에 비례한다.
+[[통계역학]](statistical mechanics)의 관점에서 열역학 제3법칙은 계의 [[미시 상태]](microstate) 및 [[양자 상태]]의 [[축퇴]](degeneracy)와 밀접하게 관련된다. [[루트비히 볼츠만]](Ludwig Boltzmann)의 엔트로피 공식에 따르면, 엔트로피는 계가 가질 수 있는 미시 상태의 수 $W$에 비례한다.
 $$S = k_B \ln W$$
-여기서 $k_B$는 [[볼츠만 상수]]이다. 절대 영도에서 완벽한 결정 구조를 갖는 물질은 원자들이 가장 낮은 에너지 상태인 [[바닥 상태]](ground state)에 단일한 배열로 고정되므로, 미시 상태의 수 $W$는 1이 된다. $\ln 1 = 0$이므로, 이 상태에서 계의 엔트로피는 자연스럽게 0으로 수렴하게 된다. 그러나 실제 물질에서는 절대 영도에서도 원자 배열의 불규칙성이나 [[동위원소]]의 혼합 등으로 인해 엔트로피가 0이 되지 않고 일정한 값을 유지하는 경우가 있는데, 이를 [[잔류 엔트로피]](residual entropy)라고 한다. 일산화탄소($\text{CO}$) 결정과 같이 분자의 방향성이 고정되지 않은 상태로 냉각될 때 이러한 현상이 관찰된다.
+여기서 $k_B$는 [[볼츠만 상수]]이다. 절대 영도에서 완벽한 결정 구조를 갖는 물질은 원자들이 가장 낮은 에너지 상태인 [[바닥 상태]](ground state)에 단일한 배열로 고정되므로, 미시 상태의 수 $W$는 1이 된다. 만약 기저 상태가 [[비퇴화]](non-degenerate) 상태라면 $\ln 1 = 0$이므로, 이 상태에서 계의 엔트로피는 자연스럽게 0으로 수렴하게 된다. 그러나 실제 물질에서는 절대 영도에서도 원자 배열의 불규칙성이나 [[동위원소]]의 혼합 등으로 인해 엔트로피가 0이 되지 않고 일정한 값을 유지하는 경우가 있는데, 이를 [[잔류 엔트로피]](residual entropy)라고 한다. [[일산화탄소]]($\text{CO}$) 결정과 같이 분자의 방향성이 고정되지 않은 상태로 냉각될 때 이러한 현상이 관찰된다.
 열역학 제3법칙의 중요한 물리적 함의 중 하나는 유한한 단계의 냉각 과정을 통해서는 결코 계를 절대 영도에 도달하게 할 수 없다는 ’절대 영도 도달 불가능의 원리’이다. 계의 온도를 낮추기 위해서는 엔트로피를 외부로 방출해야 하는데, 온도가 0에 가까워질수록 [[비열]](specific heat) 또한 0으로 수렴하며 엔트로피 변화량이 극도로 작아지기 때문에 무한한 단계의 등엔트로피 과정이나 등온 과정이 요구된다.
@@ 줄 254: / 줄 274: @@
 === 폰 노이만 엔트로피 ===
-[[통계역학]]의 고전적 토대인 [[깁스 엔트로피]]는 입자의 위치와 운동량이 결정되는 위상 공간에서의 확률 분포를 전제로 한다. 그러나 [[양자역학]]의 세계에서는 [[불확정성 원리]]로 인해 입자의 상태를 위상 공간의 한 점으로 특정할 수 없으며, 계의 상태는 [[파동 함수]] 또는 이들의 통계적 앙상블인 [[밀도 행렬]](density matrix)로 기술된다. [[존 폰 노이만]](John von Neumann)은 1927년 이러한 양자적 특성을 반영하여 엔트로피의 개념을 선형 연산자 체계로 확장하였다. 폰 노이만 엔트로피는 양자 상태가 지닌 정보의 결여량 혹은 무질서도를 정량화하며, 현대 [[양자 정보 이론]]의 핵심적인 척도로 기능한다.
+[[통계역학]]의 고전적 토대인 [[깁스 엔트로피]]는 입자의 위치와 운동량이 결정되는 위상 공간에서의 확률 분포를 전제로 한다. 그러나 [[양자역학]]의 세계에서는 [[불확정성 원리]]로 인해 입자의 상태를 위상 공간의 한 점으로 특정할 수 없으며, 계의 상태는 파동 함수 또는 이들의 통계적 앙상블인 [[밀도 행렬]](density matrix)로 기술된다. [[존 폰 노이만]](John von Neumann)은 1927년 이러한 양자적 특성을 반영하여 엔트로피의 개념을 선형 연산자 체계로 확장하였다. 폰 노이만 엔트로피는 양자 상태가 지닌 정보의 결여량 혹은 무질서도를 정량화하며, 현대 [[양자 정보 이론]]의 핵심적인 척도로 기능한다.
 양자 계의 상태를 나타내는 밀도 행렬을 $\rho$라고 할 때, 폰 노이만 엔트로피 $S$는 다음과 같이 정의된다.
@@ 줄 260: / 줄 280: @@
 $$S(\rho) = -\text{Tr}(\rho \ln \rho)$$
-여기서 $\text{Tr}$은 [[선형대수학]]의 [[대각합]](trace) 연산을 의미한다. 만약 밀도 행렬 $\rho$를 고유값 $\lambda_i$들로 대각화할 수 있다면, 위 식은 $S(\rho) = -\sum_i \lambda_i \ln \lambda_i$로 표현된다. 이때 고유값 $\lambda_i$는 계가 해당 고유 상태에 존재할 확률을 의미하므로, 폰 노이만 엔트로피는 수학적으로 [[섀넌 엔트로피]]의 양자역학적 일반화라 할 수 있다. 통상적인 물리 단위계에서는 [[볼츠만 상수]] $k_B$를 곱하여 에너지 단위와 정합시키나, 정보 이론적 맥락에서는 이를 1로 간주하거나 밑이 2인 로그를 사용하여 비트(bit) 단위로 측정하기도 한다.
+여기서 $\text{Tr}$은 [[대각합]](trace) 연산을 의미한다. 만약 밀도 행렬 $\rho$를 [[고윳값]](eigenvalue) $\lambda_i$들로 대각화할 수 있다면, 위 식은 $S(\rho) = -\sum_i \lambda_i \ln \lambda_i$로 표현된다. 이때 고윳값 $\lambda_i$는 계가 해당 고유 상태에 존재할 확률을 의미하므로, 폰 노이만 엔트로피는 수학적으로 [[섀넌 엔트로피]]의 양자역학적 일반화라 할 수 있다. 통상적인 물리 단위계에서는 볼츠만 상수를 곱하여 에너지 단위와 정합시키나, 정보 이론적 맥락에서는 이를 1로 간주하거나 밑이 2인 로그를 사용하여 비트(bit) 단위로 측정하기도 한다.
-폰 노이만 엔트로피는 계의 [[중첩]](superposition)과 통계적 혼합을 구분하는 명확한 기준을 제시한다. 계가 단일한 파동 함수로 완전히 기술되는 [[순수 상태]](pure state)일 경우, 밀도 행렬은 $\rho = |\psi\rangle\langle\psi|$의 형태를 가지며 고유값 중 하나만이 1이고 나머지는 0이 된다. 이 상황에서 엔트로피는 $S = 0$이 되는데, 이는 계의 물리적 상태에 대한 정보가 최대치에 도달해 있음을 의미한다. 반면, 여러 양자 상태가 고전적인 확률에 의해 섞여 있는 [[혼합 상태]](mixed state)에서는 엔트로피가 0보다 큰 값을 가지며, 이는 관찰자가 계의 구체적인 상태를 확정할 수 없는 정보의 불확실성을 나타낸다.
+폰 노이만 엔트로피는 계의 중첩(superposition)과 통계적 혼합을 구분하는 명확한 기준을 제시한다. 계가 단일한 파동 함수로 완전히 기술되는 [[순수 상태]](pure state)일 경우, 밀도 행렬은 $\rho = |\psi\rangle\langle\psi|$의 형태를 가지며 고윳값 중 하나만이 1이고 나머지는 0이 된다. 이 상황에서 엔트로피는 $S = 0$이 되는데, 이는 계의 물리적 상태에 대한 정보가 최대치에 도달해 있음을 의미한다. 반면, 여러 양자 상태가 고전적인 확률에 의해 섞여 있는 [[혼합 상태]](mixed state)에서는 엔트로피가 0보다 큰 값을 가지며, 이는 관찰자가 계의 구체적인 상태를 확정할 수 없는 정보의 불확실성을 나타낸다.
 이 개념은 [[양자 얽힘]](quantum entanglement)을 정량화하는 데 있어 결정적인 역할을 수행한다. 두 부분계 A와 B로 구성된 전체 계가 순수 상태 $|\Psi_{AB}\rangle$라 하더라도, 두 계가 서로 얽혀 있다면 개별 부분계의 상태는 순수 상태로 기술될 수 없다. 이때 부분계 A의 상태를 나타내는 [[축약된 밀도 행렬]](reduced density matrix) $\rho_A = \text{Tr}_B(\rho_{AB})$를 구하면, 이의 폰 노이만 엔트로피인 $S(\rho_A)$는 0보다 큰 값을 갖게 된다. 이를 [[얽힘 엔트로피]](entanglement entropy)라고 부르며, 이는 전체 계의 정보를 알고 있음에도 불구하고 국소적인 관찰자가 부분계만을 측정할 때 발생하는 정보 손실량을 측정한다.
-폰 노이만 엔트로피는 몇 가지 중요한 수학적 성질을 보유한다. 첫째, [[유니터리 변환]](unitary transformation)에 대해 불변이다. 이는 계가 외부와의 상호작용 없이 [[슈뢰딩거 방정식]]에 따라 가역적으로 진화할 때 계의 엔트로피가 보존됨을 의미한다. 둘째, 엔트로피는 밀도 행렬에 대해 [[오목성]](concavity)을 가진다. 즉, 두 밀도 행렬을 혼합할 경우 혼합된 상태의 엔트로피는 각 상태 엔트로피의 가중 평균보다 크거나 같다. 마지막으로, 복합계의 엔트로피는 각 부분계 엔트로피의 합보다 작거나 같다는 [[강한 부가산성]](strong subadditivity)을 만족하며, 이는 양자 통계역학에서 정보의 상관관계를 다루는 기초가 된다.((J. von Neumann, “Thermodynamik quantenmechanischer Gesamtheiten”, Nachrichten von der Gesellschaft der Wissenschaften zu Göttingen, Mathematisch-Physikalische Klasse, 1927, https://eudml.org/doc/59214
+폰 노이만 엔트로피는 몇 가지 중요한 수학적 성질을 보유한다. 첫째, [[유니터리 변환]](unitary transformation)에 대해 불변이다. 이는 계가 외부와의 상호작용 없이 슈뢰딩거 방정식에 따라 가역적으로 진화할 때 계의 엔트로피가 보존됨을 의미한다. 둘째, 엔트로피는 밀도 행렬에 대해 [[오목성]](concavity)을 가진다. 즉, 두 밀도 행렬을 혼합할 경우 혼합된 상태의 엔트로피는 각 상태 엔트로피의 가중 평균보다 크거나 같다. 마지막으로, 복합계의 엔트로피가 각 부분계 엔트로피의 합보다 작거나 같다는 [[부가산성]](subadditivity)과, 그보다 강력한 조건인 [[강한 부가산성]](strong subadditivity)을 만족한다. 이는 양자 통계역학에서 정보의 상관관계를 다루는 기초가 된다.((J. von Neumann, “Thermodynamik quantenmechanischer Gesamtheiten”, Nachrichten von der Gesellschaft der Wissenschaften zu Göttingen, Mathematisch-Physikalische Klasse, 1927, https://eudml.org/doc/59214
 ))
@@ 줄 346: / 줄 366: @@
 === 통신 채널 용량과 잡음 ===
-잡음이 존재하는 채널에서 정보를 신뢰성 있게 전달할 수 있는 최대 속도를 고찰한다.
+통신 시스템의 근본적인 목적은 잡음이 존재하는 환경에서도 신뢰성 있는 정보를 효율적으로 전달하는 것이다. [[클로드 섀넌]](Claude Shannon)은 [[정보이론]](Information Theory)의 정립을 통해 통신 채널의 성능 한계를 정량적으로 규정하는 [[채널 용량]](Channel Capacity)의 개념을 제시하였다. 물리적인 [[통신 채널]](Communication channel)은 입력 신호 $X$가 전송 과정에서 임의의 [[잡음]](Noise)과 결합하여 출력 신호 $Y$로 변환되는 확률적 시스템으로 모델링된다. 이때 채널의 특성은 입력이 주어졌을 때 특정한 출력이 나타날 조건부 확률인 [[전이 확률]](Transition probability) $p(y|x)$로 기술된다.
+잡음이 존재하는 채널에서 송신자가 보낸 정보와 수신자가 받은 정보 사이의 상관관계를 나타내는 척도는 [[상호 정보량]](Mutual information) $I(X; Y)$이다. 상호 정보량은 수신된 신호 $Y$를 관찰함으로써 얻게 되는 입력 신호 $X$에 대한 정보의 양을 의미하며, 다음과 같은 수식으로 정의된다.
+$$ I(X; Y) = H(X) - H(X|Y) $$
+여기서 $H(X)$는 입력의 [[섀넌 엔트로피]]이며, $H(X|Y)$는 $Y$를 알고 있을 때 $X$에 대해 남아 있는 불확실성을 의미하는 [[조건부 엔트로피]](Conditional entropy)이다. 잡음이 없는 이상적인 채널에서는 $H(X|Y) = 0$이 되어 $I(X; Y) = H(X)$가 되지만, 실제 채널에서는 잡음으로 인해 조건부 엔트로피가 발생하며 전송 가능한 유효 정보량이 감소하게 된다. 즉, 잡음은 수신자가 송신된 메시지를 정확히 추론하지 못하게 방해하는 엔트로피의 증가분으로 해석할 수 있다.
+채널 용량 $C$는 해당 채널이 허용하는 모든 가능한 입력 확률 분포 $p(x)$에 대하여 상호 정보량의 최댓값을 구함으로써 정의된다.
+$$ C = \max_{p(x)} I(X; Y) $$
+이는 채널의 물리적 특성인 전이 확률 분포에 의해 결정되는 고유한 상계(Upper bound)이다. 섀넌의 [[잡음 섞인 채널 부호화 정리]](Noisy-channel coding theorem)에 따르면, 정보 전송률 $R$이 채널 용량 $C$보다 작을 경우($R < C$), 적절한 [[오류 정정 부호]](Error correction code)를 사용함으로써 전송 오류 확률을 임의의 작은 값으로 수렴시킬 수 있다. 반면, 전송률이 채널 용량을 초과하면($R > C$) 어떠한 부호화 기법을 사용하더라도 오류를 일정 수준 이하로 낮추는 것이 수학적으로 불가능하다. 이는 잡음이 존재하는 상황에서도 정보의 신뢰성을 보장할 수 있는 절대적인 속도 한계가 존재함을 의미한다.
+가장 대표적인 채널 모델인 [[가산 백색 가우시안 잡음]](Additive White Gaussian Noise, AWGN) 채널에서, 대역폭이 $W$이고 신호 전력과 잡음 전력이 각각 $P$와 $N$일 때의 채널 용량은 [[섀넌-하틀리 정리]](Shannon-Hartley theorem)에 의해 다음과 같이 결정된다.
+$$ C = W \log_2 \left( 1 + \frac{P}{N} \right) $$
+이 식은 통신 시스템 설계에서 핵심적인 통찰을 제공한다. 채널 용량을 증대시키기 위해서는 [[대역폭]](Bandwidth)을 넓히거나 [[신호 대 잡음비]](Signal-to-Noise Ratio, SNR)를 높여야 함을 보여준다. 그러나 대역폭과 신호 전력은 물리적·경제적 제약 조건이므로, 현대 통신 기술은 주어진 자원 내에서 채널 용량에 최대한 근접하는 전송률을 달성하기 위해 [[터보 부호]](Turbo code)나 [[저밀도 패리티 검사 부호]](Low-Density Parity-Check, LDPC)와 같은 고도화된 채널 부호화 기법을 활용한다. 결론적으로 통신 채널 용량에 대한 고찰은 정보의 전송 속도와 신뢰성 사이의 근본적인 [[트레이드오프]](Trade-off)를 이해하는 핵심적인 틀을 제공한다.
 === 쿨백 라이블러 발산 ===
-두 확률 분포 사이의 차이를 측정하는 상대적 엔트로피의 개념을 설명한다.
+[[쿨백 라이블러 발산]](Kullback-Leibler Divergence, KLD)은 두 [[확률 분포]](probability distribution) 간의 차이를 정량화하는 척도로, 정보이론 분야에서는 [[상대적 엔트로피]](relative entropy)라는 명칭으로도 널리 알려져 있다. 1951년 [[솔로몬 쿨백]](Solomon Kullback)과 [[리처드 라이블러]](Richard Leibler)가 도입한 이 개념은 통계적 가설 검정과 정보 보존의 관점에서 두 분포가 얼마나 상이한지를 측정한다. [[섀넌 엔트로피]]가 단일 확률 분포의 불확실성을 다룬다면, 쿨백 라이블러 발산은 하나의 기준 분포를 중심으로 다른 분포가 그로부터 얼마나 이탈해 있는지를 분석하는 데 초점을 맞춘다.
+동일한 표본 공간 $\mathcal{X}$ 위에서 정의된 두 이산 확률 분포 $P$와 $Q$가 존재할 때, $P$를 기준으로 한 $Q$의 쿨백 라이블러 발산은 다음과 같이 정의된다. $$D_{KL}(P || Q) = \sum_{x \in \mathcal{X}} P(x) \log \frac{P(x)}{Q(x)}$$ 만약 확률 변수가 연속적이라면, 해당 식은 [[확률 밀도 함수]](probability density function) $p(x)$와 $q(x)$에 대한 적분 형태로 확장된다. $$D_{KL}(P || Q) = \int_{-\infty}^{\infty} p(x) \log \frac{p(x)}{q(x)} dx$$ 이 식은 정보이론적 관점에서 실제 분포가 $P$인 데이터를 부호화할 때, $Q$라는 부적절한 분포를 기반으로 설계된 [[최적 부호화]](optimal coding) 방식을 사용할 경우 발생하는 추가적인 정보량의 기댓값을 의미한다.
+쿨백 라이블러 발산은 [[교차 엔트로피]](cross entropy)와 깊은 연관을 맺고 있다. 교차 엔트로피 $H(P, Q)$는 실제 분포 $P$를 $Q$로 예측했을 때의 평균 정보량이며, 기준 분포의 엔트로피를 $H(P)$라고 할 때 $D_{KL}(P || Q) = H(P, Q) - H(P)$의 관계가 성립한다. 즉, 발산 값은 근사 모델 $Q$가 실제 분포 $P$를 완벽하게 표현하지 못함으로써 발생하는 정보 손실 또는 비효율성의 척도가 된다.
+이 척도의 중요한 수학적 성질 중 하나는 [[깁스 부등식]](Gibbs’ inequality)에 의해 항상 비음수($D_{KL} \ge 0$)의 값을 가진다는 점이다. 발산 값이 0이 되는 유일한 조건은 모든 $x$에 대해 $P(x) = Q(x)$가 성립할 때뿐이다. 그러나 쿨백 라이블러 발산은 수학적인 의미에서의 [[거리 함수]](metric)는 아니다. 이는 [[대칭성]](symmetry)을 만족하지 않아 $D_{KL}(P || Q)$와 $D_{KL}(Q || P)$가 일반적으로 서로 다른 값을 가지기 때문이며, [[삼각 부등식]](triangle inequality) 또한 성립하지 않는다. 따라서 이를 지칭할 때는 거리라는 용어 대신 발산 혹은 유사도라는 표현을 사용하는 것이 학술적으로 엄밀하다.
+현대 [[기계학습]](machine learning)과 [[통계적 추론]](statistical inference)에서 쿨백 라이블러 발산은 핵심적인 역할을 수행한다. 모델 학습 과정에서 실제 데이터의 분포와 모델이 예측하는 분포 사이의 차이를 최소화하기 위한 [[손실 함수]](loss function)로 활용되며, 이는 [[최대 우도 추정]](Maximum Likelihood Estimation, MLE)과 논리적으로 직결된다. 또한 [[변분 추론]](variational inference)에서는 계산이 난해한 사후 분포를 다루기 쉬운 분포로 근사하기 위해 두 분포 사이의 쿨백 라이블러 발산을 최소화하는 최적화 문제를 해결한다. 이러한 특성으로 인해 쿨백 라이블러 발산은 정보이론의 경계를 넘어 데이터 과학 전반의 기초 이론으로 자리 잡고 있다.
 ===== 엔트로피의 학문적 확장과 응용 =====
@@ 줄 384: / 줄 430: @@
 === 우주의 열적 죽음 가설 ===
-엔트로피가 최대치에 도달하여 더 이상 유효한 에너지가 남지 않는 우주의 종말을 설명한다.
+[[우주의 열적 죽음]](Heat death of the universe)은 [[열역학 제2법칙]]을 우주 전체라는 거대한 시스템에 적용했을 때 도출되는 종말론적 가설이다. 이 개념은 19세기 중반 [[루돌프 클라우지우스]](Rudolf Clausius)와 [[윌리엄 톰슨]](William Thomson)에 의해 정립되었으며, 우주가 하나의 [[고립계]](isolated system)라는 가정 아래 시간이 흐를수록 전체 [[엔트로피]](entropy)가 극대화되는 방향으로 진화한다는 원리를 바탕으로 한다. 클라우지우스는 1865년 논문에서 “우주의 엔트로피는 최대치를 향해 나아간다”라고 명시하며, 우주가 최종적으로 모든 물리적 상호작용이 정지된 평형 상태에 도달할 것임을 예견하였다.
+열역학적 관점에서 우주의 진화는 유효하게 일을 할 수 있는 에너지인 [[자유 에너지]](free energy)가 줄어들고, 무질서도를 나타내는 엔트로피가 증가하는 과정이다. 모든 자발적인 물리적 과정은 계의 총 엔트로피를 증가시키는 방향으로 발생하며, 이는 다음과 같은 부등식으로 표현된다.
+$ S_{univ}  $
+여기서 $ S_{univ} $는 우주 전체의 엔트로피를 의미한다. 별의 내부에서 일어나는 [[핵융합]], 은하의 형성, 생명체의 활동 등 우주에서 발생하는 모든 고도의 구조화된 현상은 국소적으로 엔트로피를 낮추는 것처럼 보이지만, 그 과정에서 방출되는 열과 복사는 주변 환경의 엔트로피를 더 크게 증가시킨다. 결과적으로 우주 내의 온도 차이는 점차 사라지며, 에너지는 공간 전체에 균일하게 분산된다.
+우주의 열적 죽음으로 향하는 과정은 매우 긴 시간 척도에서 진행된다. 현대 [[우주론]](cosmology)의 관점에 따르면, 별들은 가용 가능한 수소 연료를 모두 소모하여 백색 왜성, 중성자별, 혹은 [[블랙홀]](black hole)로 사멸하게 된다. 이후 수조 년 이상의 시간이 흐르면 은하 내의 모든 별이 빛을 잃는 ’축퇴의 시대’에 접어든다. 이 단계에서 우주의 주요 에너지원은 블랙홀의 역학적 상호작용과 미세한 입자들의 붕괴로 제한된다. 특히 [[스티븐 호킹]](Stephen Hawking)이 제안한 [[호킹 복사]](Hawking radiation)에 의해 블랙홀조차 아주 긴 시간에 걸쳐 증발하게 되면, 우주에는 오직 매우 낮은 에너지의 광자와 경입자들만이 희박하게 퍼져 있는 상태가 된다.
+최종적인 열적 죽음의 상태에서 우주는 [[열적 평형]](thermal equilibrium)에 도달한다. 이 상태에서는 우주 전체의 온도가 절대 영도에 가깝게 균일해지며, 어떠한 온도 구배(temperature gradient)도 존재하지 않게 된다. 열역학적으로 일을 수행하기 위해서는 계 사이의 온도 차이가 필수적이므로, 온도가 균일해진 우주에서는 더 이상 유용한 에너지를 추출할 수 없다. 이는 거시적인 물리적 변화, 정보의 처리, 생명 활동 등이 영구히 불가능해짐을 의미한다. 즉, 엔트로피가 최대치에 도달함으로써 [[시간의 화살]](arrow of time)이 가리키는 방향성이 물리적 의미를 상실하게 되는 것이다.
+현대 물리학에서는 [[가속 팽창]]과 [[암흑 에너지]](dark energy)의 존재를 고려하여 이 가설을 재검토하고 있다. 우주가 지수함수적으로 팽창함에 따라 물질 사이의 거리는 무한히 멀어지며, 이는 열적 평형으로의 이행을 가속화한다. 일부 이론에서는 이를 ’빅 프리즈(Big Freeze)’라고도 부르며, 우주가 단순히 뜨거운 평형 상태에 도달하는 것이 아니라 극도로 낮고 균일한 온도 상태에서 정지하게 될 것임을 시사한다. 결국 열적 죽음 가설은 엔트로피라는 물리량이 우주의 시작부터 종말까지를 규정하는 가장 근본적인 척도임을 보여준다.
 === 블랙홀 엔트로피 ===
-블랙홀의 사건의 지평선 면적과 엔트로피 사이의 관계를 다루는 호킹-베켄슈타인 원리를 서술한다.
+[[일반 상대성 이론]](General Relativity)에 의해 예견된 [[블랙홀]](black hole)은 초기 이론적 정립 과정에서 어떠한 복사도 내뿜지 않으며, 한 번 들어간 물질이나 정보는 결코 빠져나올 수 없는 완벽한 흡수체로 간주되었다. 이러한 고전적 관점은 열역학적 관점에서 심각한 모순을 야기하였다. 만약 블랙홀이 엔트로피를 갖지 않는다면, 엔트로피를 가진 물질이 블랙홀 내부로 낙하할 때 외부 우주의 총 엔트로피가 감소하게 되어 [[열역학 제2법칙]]이 훼손되기 때문이다. 이러한 문제를 해결하기 위해 [[제이콥 베켄슈타인]](Jacob Bekenstein)은 블랙홀 자체가 엔트로피를 가져야 한다는 파격적인 가설을 제시하였다.
+베켄슈타인은 블랙홀의 물리적 특성 중 하나인 [[사건의 지평선]](event horizon)의 넓이가 결코 감소하지 않는다는 [[스티븐 호킹]](Stephen Hawking)의 면적 정리에 주목하였다. 그는 고립계에서 엔트로피가 항상 증가하거나 일정하게 유지된다는 성질과 블랙홀의 표면적 증가 현상 사이의 유사성을 바탕으로, 블랙홀의 엔트로피가 사건의 지평선 면적 $ A $에 비례한다는 결론에 도달하였다. 이는 엔트로피가 계의 부피에 비례한다는 고전적인 [[통계역학]]적 통찰을 뒤집는 것으로, 블랙홀 내부의 정보가 그 경계면인 2차원 표면에 저장됨을 시사한다.
+베켄슈타인의 가설은 초기에는 정교한 물리적 증명이 부족하였으나, 1975년 스티븐 호킹이 [[양자장론]](Quantum Field Theory)을 곡률이 있는 시공간에 적용하여 [[호킹 복사]](Hawking radiation)의 존재를 증명함으로써 확고한 학술적 토대를 얻게 되었다. 호킹은 블랙홀이 완전한 검은색이 아니라, 사건의 지평선 근처에서 발생하는 양자적 요동으로 인해 열복사를 방출한다는 사실을 수학적으로 유도하였다. 블랙홀이 특정 온도인 [[호킹 온도]](Hawking temperature)를 가지고 복사를 방출한다는 것은, 블랙홀이 열역학적 계로서 명확한 엔트로피 값을 가짐을 의미한다. 이를 통해 도출된 베켄슈타인-호킹 엔트로피(Bekenstein-Hawking entropy) 공식은 다음과 같다.
+$$ S_{BH} = \frac{k_B c^3 A}{4 G \hbar} = \frac{k_B A}{4 \ell_P^2} $$
+위 식에서 $ k_B $는 [[볼츠만 상수]], $ c $는 [[광속]], $ G $는 [[중력 상수]], $ $는 [[디랙 상수]](유리화된 플랑크 상수)를 나타내며, $ _P $는 [[플랑크 길이]](Planck length)이다. 이 공식은 블랙홀의 엔트로피가 지평선 면적을 플랑크 면적의 4분의 1 단위로 나눈 값과 같음을 보여준다. 이 관계식은 미시 세계를 다루는 양자역학($ $), 거시 세계의 중력을 다루는 일반 상대성 이론($ G $, $ c $), 그리고 열 현상을 다루는 통계역학($ k_B $)이 하나의 수식 안에 통합된 현대 물리학의 기념비적인 결과로 평가받는다.((Bekenstein, J. D. (1973). Black holes and entropy. Physical Review D, 7(8), 2333-2346. https://doi.org/10.1103/PhysRevD.7.2333
+)) ((Hawking, S. W. (1975). Particle creation by black holes. Communications in Mathematical Physics, 43(3), 199-220. https://link.springer.com/article/10.1007/BF02345020
+))
+블랙홀 엔트로피의 정량적 정의는 [[블랙홀 정보 역설]](Black hole information paradox)이라는 새로운 화두를 던졌다. 블랙홀이 증발하여 사라질 때 그 안에 저장되었던 정보가 어떻게 되는가에 대한 논쟁은 현대 이론 물리학의 핵심 과제 중 하나가 되었다. 또한, 엔트로피가 부피가 아닌 면적에 비례한다는 사실은 우주의 근본적인 정보 구조가 더 낮은 차원의 경계면에 부호화되어 있을 수 있다는 [[홀로그래피 원리]](Holographic Principle)의 탄생으로 이어졌다. 이는 [[양자 중력]](Quantum Gravity) 이론을 구축하려는 시도에서 블랙홀 열역학이 단순한 응용 분야를 넘어 가장 중요한 이정표 역할을 수행하고 있음을 보여준다.
 ==== 생명 계와 사회 경제적 응용 ====
@@ 줄 405: / 줄 475: @@
 === 음의 엔트로피와 생명 활동 ===
-생명체가 외부로부터 저엔트로피 에너지를 흡수하여 체내 질서를 유지하는 메커니즘을 설명한다.
+생명체는 [[열역학 제2법칙]]이 지배하는 자연계에서 극히 예외적으로 높은 수준의 질서와 복잡성을 유지하는 존재이다. 고립계(isolated system)의 [[엔트로피]](entropy)가 항상 증가하여 최종적으로 무질서한 [[열적 평형]] 상태에 도달한다는 원리와 달리, 생명체는 일생 동안 저엔트로피 상태를 유지하며 성장을 거듭한다. 이러한 현상을 물리적으로 규명하고자 노력했던 [[에르빈 슈뢰딩거]](Erwin Schrödinger)는 1944년 저술을 통해 생명체가 외부로부터 ’음의 엔트로피(negative entropy)’를 지속적으로 섭취함으로써 자신의 엔트로피 증가를 상쇄한다고 설명하였다. 훗날 [[레온 브릴루앵]](Léon Brillouin)에 의해 [[네겐트로피]](negentropy)로 축약된 이 개념은 생명 현상을 열역학적 관점에서 이해하는 핵심적인 지표가 되었다.
+물리학적 관점에서 생명체는 외부와 물질 및 에너지를 교환하는 [[열린계]](open system)로 정의된다. 생명체 내부에서 발생하는 [[대사]](metabolism) 과정은 필연적으로 엔트로피를 생성하지만, 생명체는 이를 체외로 배출하고 대신 외부 환경으로부터 고도의 질서를 갖춘 에너지원인 [[자유 에너지]](free energy)를 흡수한다. 이를 계의 전체 엔트로피 변화량($dS$)으로 표현하면 다음과 같다.
+$$dS = d_{e}S + d_{i}S$$
+여기서 $d_{i}S$는 계 내부의 비가역적인 과정에 의해 생성되는 엔트로피이며, [[열역학 제2법칙]]에 따라 항상 0보다 크거나 같다($d_{i}S \ge 0$). 반면 $d_{e}S$는 계가 외부 환경과 물질 및 에너지를 교환하며 발생하는 엔트로피의 흐름을 의미한다. 생명체는 외부로부터 저엔트로피 상태의 영양분을 섭취하고 고엔트로피 상태의 노폐물과 열을 방출함으로써 $d_{e}S$를 음(-)의 값으로 유지한다. 결과적으로 전체 엔트로피 변화량인 $dS$를 0 또는 음의 값으로 유지함으로써 체내의 정교한 구조와 기능을 보존하게 된다.
+이러한 비평형 상태의 질서 유지는 [[일리야 프리고진]](Ilya Prigogine)이 제안한 [[산일 구조]](dissipative structure) 이론을 통해 더욱 체계화되었다. 생명체와 같은 산일 구조는 평형 상태에서 멀리 떨어진 비평형 개방계로서, 외부로부터 에너지 흐름이 지속되는 한 스스로를 조직화하고 질서를 창출하는 [[자기 조직화]](self-organization) 특성을 보인다. 즉, 생명 활동은 단순히 에너지를 소모하는 과정이 아니라, 외부의 에너지를 이용하여 계 내부의 엔트로피를 낮추고 정보적 가치가 높은 상태를 유지하는 동역학적 과정이라 할 수 있다.
+결국 생명체가 죽음에 이른다는 것은 외부와의 에너지 및 물질 교환이 차단되거나 효율이 급격히 저하되어, 더 이상 음의 엔트로피를 확보하지 못하게 됨을 의미한다. 이 경우 내부에서 생성되는 엔트로피($d_{i}S$)가 계를 지배하게 되며, 생명체는 급격히 무질서도가 증가하는 방향으로 이행하여 주변 환경과 열적·화학적 평형을 이루는 상태, 즉 부패와 분해의 단계로 접어들게 된다. 따라서 생명 활동의 본질은 우주의 보편적인 무질서화 경향에 저항하여 국소적으로 낮은 엔트로피 상태를 영위하는 비평형 역학의 연속체로 이해된다.
 === 경제적 가치와 자원 고갈 ===
-에너지와 물질의 비가역적 변환 과정을 통해 경제 활동의 한계를 분석하는 관점을 다룬다.
+경제 활동을 가치 창출의 관점에서만 파악하던 전통적인 [[신고전파 경제학]]의 순환 모델은 물리적 법칙, 특히 [[열역학 제2법칙]]과의 정합성 측면에서 한계를 지닌다. 루마니아 출신의 경제학자 [[니콜라스 조르제스쿠-뢰겐]](Nicholas Georgescu-Roegen)은 그의 저작을 통해 경제 과정이 본질적으로 엔트로피를 증가시키는 비가역적 과정임을 역설하였다. 그는 경제 시스템을 고립된 순환 체계가 아닌, 외부로부터 저엔트로피(low entropy) 자원을 흡수하여 고엔트로피(high entropy) 폐기물을 배출하는 열린 계로 정의하였다. 이러한 관점에서 경제적 가치는 단순히 노동이나 자본의 결합이 아니라, 자연계에 존재하는 유용한 에너지와 물질, 즉 저엔트로피 상태를 인간의 목적에 맞게 변환하는 과정에서 발생한다.
+경제적 가치의 근원은 물리적으로 구조화되어 있어 즉시 사용 가능한 에너지와 물질의 상태에 있다. 석탄이나 석유와 같은 [[화석 연료]]는 고도로 집중된 저엔트로피 자원의 전형이며, 경제 활동은 이를 연소시켜 동력을 얻는 동시에 그 물리적 구조를 파괴하여 열과 가스라는 무질서한 고엔트로피 상태로 되돌린다. 열역학적으로 볼 때, 생산 과정은 결코 무에서 유를 창조하는 것이 아니라 자연이 수백만 년에 걸쳐 축적한 저엔트로피를 소모하여 일시적인 질서(상품)를 만들고, 그 대가로 전체 계의 엔트로피를 가속화하여 증가시키는 행위이다. 따라서 모든 경제적 생산은 반드시 물리적 자원의 [[비가역성]](irreversibility)을 수반하며, 이는 지구적 차원에서의 [[자원 고갈]]로 직결된다.
+물질적 측면에서의 엔트로피 증가는 경제적 지속 가능성에 더욱 엄격한 제약을 부과한다. 에너지는 태양으로부터 지속적으로 유입되지만, 구리나 인과 같은 광물 자원은 지구라는 닫힌 계 내에서 한정된 양만이 존재한다. 이를 ’물질적 엔트로피’의 관점에서 해석하면, 채굴된 광물이 제품으로 가공되고 마모되어 환경 중으로 확산되는 과정은 유효한 물질적 질서가 소실되는 과정이다. 비록 [[재활용]](recycling)을 통해 일부 자원을 회수할 수 있으나, 확산된 미세 입자를 다시 수집하여 유용한 상태로 되돌리기 위해서는 막대한 양의 에너지가 추가로 투입되어야 하며, 이 과정에서 발생하는 엔트로피의 총합은 결코 줄어들지 않는다. 이는 기술적 진보가 자원 효율성을 높일 수는 있어도, 엔트로피 법칙이 규정하는 근본적인 물리적 한계를 완전히 극복할 수 없음을 시사한다.
+이러한 열역학적 경제관은 [[생태경제학]](Ecological Economics)의 이론적 토대가 되었으며, 무한한 경제 성장이 가능하다는 낙관론에 경종을 울렸다. 경제 시스템의 규모가 커질수록 저엔트로피 자원의 소모 속도는 빨라지며, 이는 미래 세대가 사용할 수 있는 유효 자원의 양을 물리적으로 감소시킨다. 조르제스쿠-뢰겐은 이를 “엔트로피의 덫”이라고 표현하며, 인류가 태양 에너지라는 거대한 저엔트로피 원천에 의존하는 정도를 높이고 물질적 소비를 줄이는 방향으로 경제 구조를 재편해야 한다고 주장하였다. 결국 경제적 가치란 엔트로피 법칙이라는 거대한 물리적 제약 하에서만 유효한 개념이며, 자원 고갈은 단순한 시장의 수급 불균형이 아니라 우주적 엔트로피 증가 과정의 필연적인 결과로 이해되어야 한다.((Nicholas Georgescu-Roegen, The Entropy Law and the Economic Process in Retrospect, https://econpapers.repec.org/RePEc:eej:eeconj:v:12:y:1986:i:1:p:3-25
+))

SethQ Wiki

사용자 도구

사이트 도구

차이

문서 도구