Wichtiger Hinweis zum Inhalt des Online-LexikonsBei den auf dieser Seite aufgeführten Texten/Artikeln/Inhalten handelt es sich ausschließlich um fremde Inhalte, die sich die Aschendorff Verlag GmbH & Co. KG ausdrücklich nicht zu Eigen macht. Diese fremden Inhalte, die keiner regelmäßigen Überprüfung unterliegen, sind ausnahmslos solche der freien Enzyklopädie Wikipedia, für die keinerlei Verantwortung übernommen wird.

---

Lizenzbestimmungen Der Text/Artikel/Inhalt auf dieser Seite innerhalb der Rubrik "Online Lexikon" basiert, soweit nicht anders angegeben, auf dem Artikel Bedingte Entropie aus der freien Enzyklopädie Wikipedia. Die Inhalte stehen unter der GNU Lizenz für freie Dokumentation. Eine Liste der Autoren ist dort abrufbar.

Bedingte Entropie

Die bedingte Entropie einer Zufallsvariable $X$ gegeben eines Ereignisses $A$ bzw. einer Zufallsvariablen $Y$ ist die Unsicherheit über $X$, die verbleibt, wenn $A$ bzw. $Y$ bereits bekannt ist. Sind $X$ und $Y$ stochastisch_unabhängig, dann bleibt die Entropie von $X$ vollständig erhalten.

Definition

Es sei $X$ eine diskrete Zufallsvariable und sei $M$ ihr Wertevorrat, d.h. $M$ ist eine höchstens_abzählbare Menge mit $P(X\backslash in\; M)=1$. $X$ soll jedes Element von $M$ mit positiver Wahrscheinlichkeit annehmen. Dann ist die Entropie von $X$ durch
:$H(X)\; :=\; -\backslash sum\_\{x\backslash in\; M$

Ein berücksichtigtes Zeichen

Wobei gilt:

P(X|Y) = P( X=x|Y=y )

          = P( X=x_t|Y=x_t-1 )
|valign="top"|

|

Zwei berücksichtigte Zeichen

Wobei gilt: P(X|Y)
= P( X=x_t | Y=(x_t-2,x_t-1) )
|valign="top"|

Wobei gilt:
P(Y) = P( Y=(y_t, y_t-1) ) = P( p(yt), p(yt-1) )
|

Drei berücksichtigte Zeichen

|valign="top"|
Wobei gilt:

P(X|Y) = P( X=x | Y=y )

           = P( X=x_t | Y=(x_t-3, x_t-2, x_t-1) )

Unmögliche Ereignisse werden mit "−" gekennzeichnet. Bsp. y=(1,0,1) Diese Ausgabe wird die gegebene Quelle nie liefern, da nach einer Eins immer drei Nullen folgen.

Man sieht, dass in der Tabelle keine anderen Wahscheinlichkeiten auftreten als 0 oder 1. Da nach der Definition der Entropie gilt
H(1) = H(0) = 0, muss schließlich die Entropie H(X|Y) = 0 sein.
|Erläuterung zu den Wahrscheinlichkeitstabellen

Die Tabellen beziehen sich auf die obige Beispielzeichensequenz.

Wobei gilt:

P(X|Y) = P( X=x|Y=y ) = P( X=x_t|Y=x_t-1 ) = p(x_t| x_t-1)

Hier betrachtet man ein Zeichen X unter der Bedingung des vorangegangenen Zeichens Y. Ist beispielsweise ein Zeichen Y=1, so lautet die Frage: Mit welcher Wahrscheinlichkeit ist das darauffolgende Zeichen X=0 bzw. X=1 ? Für Y=1 ist das nächste Zeichen X immer 0. Somit ist P(X=0|Y=1) = 1. Außerdem folgt daraus, dass P(X=1|Y=1) = 0 ist, da die Zeilensumme immer Eins ist.
|width="45"|
|valign="top" width="45%" |

Wobei gilt:
P(X) = P( X=(x_t, x_t-1) ) = P( p(x_t), p(x_t-1) )
= p(x_t, x_t-1)

Hier betrachtet man die Auftrittshäufigkeit einer Zeichenkombination. Man kann aus der Tabelle lesen, dass die Buchstabenkombinationen (0,1) und (1,0) genauso häufig auftreten. Die Summe aller Matrixeinträge ergibt Eins.
|}

Entropie und Informationsgehalt

Die Entropie fällt umso stärker, je mehr Zeichen berücksichtigt werden. Wenn die Anzahl der berücksichtigten Zeichen hinreichend groß gewählt wird, so konvergiert die Entropie gegen Null.

Möchte man den Informationsgehalt der gegebenen Zeichenkette aus n=12 Zeichen berechnen, so erhält man nach Definition I_ges = n⋅H(X|Y) bei...
:...keinem berücksichtigten Zeichen 9,39 bit Gesamtinformation. (Informationsgehalt statistisch unabhänger Ereignisse)
:...einem berücksichtigten Zeichen 8,26 bit Gesamtinformation.
:...zwei berücksichtigten Zeichen 6 bit Gesamtinformation.
:...drei berücksichtigten Zeichen 0 bit Gesamtinformation.

       VIDEO-NEWS UND ANGEBOTE