Entropiebegriffe

23/10/2007 - 16:22 von Michael Noetgen | Report spam
Hallo!

Mir leuchtet die Äquivalenz des statistisch-mechanischen und des
informationstheoretischen Entropiebegriffs nicht ein.

Die statistische Entropie wird in meinem Lehrbuch definiert als
extensive Zustandsgröße eines abgeschlossenen Systems. Die Defi-
nitionsgleich ist

S = k ln(Omega).

Dann kann man zeigen, daß die Entropie in einem abgeschlossenen
System maximal ist.

Die Informationsentropie oder Shannon-Entropie wird definiert
als

S = -k sum_i (P_i ln(P_i)),

wobei die {P_i} relative Wahrscheinlichkeiten sein sollen.

Soviel zu den Definition. In meinem Lehrbuch steht jetzt, daß
"man leicht erkennt, daß die Shannon-Entropie gleich der stati-
stischen Entropie ist, wenn k die Boltzmann-Konstante ist". Er-
làuternde Rechnung: Seien P_i die konstanten mikrokanonischen
Wahrscheinlichkeiten 1/Omega, dann folgt

S = k sum_i (1/Omega ln(Omega)) = k ln(Omega).

Wie sieht man das? Ich stehe völlig auf dem Schlauch. :-(

In meinem Lehrbuch steht jetzt außerdem, daß, wenn die {P_i}
einen gemischten Zustand mit Dichtematrix rho repràsentieren,
die Shannon-Entropie gegeben ist zu

S(rho) = -k sum_i (P_i ln(P_i)) = -k tr(rho ln(rho)).

Diesen Schritt raffe ich auch nicht! Wie zeigt man das explizit?

Vielen Dank für alle Hinweise!!!

Gruß
Michael
 

Lesen sie die antworten

#1 Norbert Dragon
23/10/2007 - 18:10 | Warnen spam
* Michael Noetgen schreibt:

Mir leuchtet die Äquivalenz des statistisch-mechanischen und des
informationstheoretischen Entropiebegriffs nicht ein.

Die statistische Entropie wird in meinem Lehrbuch definiert als
extensive Zustandsgröße eines abgeschlossenen Systems. Die Defi-
nitionsgleich ist

S = k ln(Omega).



Solange Du nicht sagst, was Omega ist, ist Deine Gleichung eine
Buchstabenschnitzeljagd.

Dann kann man zeigen, daß die Entropie in einem abgeschlossenen
System maximal ist.



Ohne Eigenschaft von Omega geht das sicher nicht.

Die Informationsentropie oder Shannon-Entropie wird definiert
als

S = -k sum_i (P_i ln(P_i)),

wobei die {P_i} relative Wahrscheinlichkeiten sein sollen.



Streiche "relativ".

Soviel zu den Definition. In meinem Lehrbuch steht jetzt, daß
"man leicht erkennt, daß die Shannon-Entropie gleich der stati-
stischen Entropie ist, wenn k die Boltzmann-Konstante ist".



Da k die Boltzmannkonstante ist, wird also die Gleichheit ohne jede
Einschrànkung behauptet. Da die Boltzmannkonstante zudem nur ein
Umrechnungsfaktor von Temperaturen in Energien ist, gilt k = 1
in jedem Maßsystem, das Temperaturen in Energien ausdrückt und für
beides dieselben Einheiten verwendet.

Erlàuternde Rechnung: Seien P_i die konstanten mikrokanonischen
Wahrscheinlichkeiten 1/Omega,



P_1, P_2, ... sind die Wahrscheinlichkeiten für
das Resultat 1, Resultat 2, Sind die konstant in dem Sinn,
daß P_1 = P_2 = P_3 ...= 1 / Omega sind? Dann ist Omega = N, wobei
N die Anzahl der Ereignisse i = 1, 2, ..., N ist.

S = sum_i (1/Omega ln(Omega)) = ln(Omega).

Wie sieht man das? Ich stehe völlig auf dem Schlauch.



Falls alle P_i gleich sind, sind alle Terme der Summe gleich.
Also ist die Summe das N-fache des Summanden

S = N 1/Omega ln(Omega) = N 1/N ln (N) = ln(N) .

Allerdings zeigt das nicht die behauptete Äquivalenz der Definition

S = ln N mit

S = - Summe_i p_i ln p_i ,

sondern nur, daß die Entropie der Gleichverteilung von N Ergebnissen
ln N betràgt.

In meinem Lehrbuch steht jetzt außerdem, daß, wenn die {P_i}
einen gemischten Zustand mit Dichtematrix rho repràsentieren,
die Shannon-Entropie gegeben ist zu

S(rho) = - sum_i (P_i ln(P_i)) = - tr(rho ln(rho)).

Diesen Schritt raffe ich auch nicht! Wie zeigt man das explizit?



Die Gleichung gilt, falls mit P_i die Eigenwerte der Dichtematrix rho
gemeint sind. Die Matrix rho ln(rho) hat definitionsgemàß dieselben
Eigenvektoren wie rho und die Eigenwerte P_i ln(P_i). Die Spur ist die
Summe der Eigenwerte.

Wie heißt denn Dein Lehrbuch?

Aberglaube bringt Unglück

www.itp.uni-hannover.de/~dragon

Ähnliche fragen