Früher oder später musste es ja so kommen: Zur Bestimmung der Finalkoordinaten muss gerechnet werden! Shannon führte in seiner bahnbrechenden Arbeit (siehe Shanniversary #1) den Begriff der Entropie ein, um den Informationsgehalt von Zufallsvariablen (z.B. Würfelwürfe, Münzwürfe, die Suchdauer für eine bestimmte Klasse von Multis, etc.) zu bestimmen. Das ist natürlich nur eine sehr saloppe Ausdrucksweise: Shannon selbst weigerte sich, von "Information" zu sprechen, um Missverständnisse mit diesem alltäglich verwendeten Begriff zu vermeiden. Ganz konkret konnte Shannon allerdings zeigen, dass Entropie eine operationelle Bedeutung in der Kompression von Daten hat: Die Entropie einer Zufallsvariable bestimmt die minimale Codelänge, die benötigt wird, um die Ergebnisse der Zufallsvariable zu speichern.
Doch nun ans Werk: Zuerst gilt es, die Formel für die Entropie zu finden. Habt ihr das geschafft, ist die nächste Aufgabe, die Entropie der folgenden Zufallsvariable zu bestimmen:
Die Zufallsvariable X nimmt die Zustände A, B, C, D und E mit folgenden Wahrscheinlichkeiten an:
p(A)=p(B)=p(C)=p(D)=0,245
p(E)=0,02
Die Entropie dieser Zufallsvariable in bits sei H (gerundet auf zwei Kommastellen). Die Dose liegt bei
N 48° 06.(100 * H) E 011° 28.924
In English, please!
Sooner or later it had to happen: To get the final coordinates, you must calculate! Shannon introduced entropy in his groundbreaking work (see Shannyversary '1) to quantify the information content of random variables (dice throws, coin tosses, search duration for a certain class of multis, etc.). Of course, this is very loosely spoken: Shannon himself did not want to use the word "information" in his work too often to avoid confusion with this everyday's term. However, Shannon could show that entropy has an operational characterization in data compression: The entropy of a random variable determines the minimum code length required to store the results of this random variable.
But now let's start: First, you need to find a formula for entropy. If you managed that, you should compute the entropy of the following random variable:
The random variable X assumes the values A, B, C, D, and E with the following probabilities:
p(A)=p(B)=p(C)=p(D)=0.245
p(E)=0.02
Let H be the entropy of this random variable in bits (with a precision of two decimal points). You can find the cache at
N 48° 06.(100 * H) E 011° 28.924