In der statistischen Physik ist die fehlende Information eines Systems die Information, die benötigt wird, um herauszufinden, in welchem Zustand sich ein System befindet. Sie ist die gewichtete Summe der Logarithmen der Zustandswahrscheinlichkeiten
wobei die $ p_{i}\, $ die Wahrscheinlichkeiten der $ n $ Zustände des Systems sind.
Als Informationsentropie $ S $ wird die fehlende Information bezeichnet, um herauszufinden, in welchem Zustand sich ein willkürlich herausgegriffener Repräsentant eines Ensembles befindet.
Setzt man $ k=\ln(2)^{-1} $, so ergibt sich der Informationsgehalt aus der Informationstheorie in der Einheit Shannon. In der Statistischen Physik setzt man jedoch $ k $ auf die Boltzmann-Konstante $ k=k_{\mathrm {B} } $, weil dann die Informationsentropie eines Ensembles mit der thermodynamischen Entropie übereinstimmt.
Das Gleichgewichtssystem ist in diesem Sprachgebrauch das System mit dem Maximum an fehlender Information.
Im mikrokanonischen Ensemble sind alle Zustände gleich häufig vertreten. Gibt es für den makroskopischen Zustand $ (E,N,V,\dots ) $, bei dem z. B. E die Energie, N die Teilchenzahl und V das Volumen sind, eine Anzahl $ W(E,\dots ) $ mikroskopischer Zustände, so sind folglich die Energieniveaus $ E_{n}\, $ mit den Wahrscheinlichkeiten $ p_{n}=1/W(E,\dots ) $ vertreten.
Die Informationsentropie beträgt dann
beziehungsweise für eine bestimmte Energie $ E_{n} $
Für das kanonische Ensemble sind die Wahrscheinlichkeiten für verschiedene Energien $ p_{n}={\frac {1}{Z}}\exp \left(-\beta E_{n}\right) $. Und die Informationsentropie beträgt
wobei $ F $ die Freie Energie und $ U $ die Innere Energie sind.
