Das Gesetz der grossen Zahlen

Was besagt das Gesetz der grossen Zahlen? Wikipedia sagt:

In ihrer einfachsten Form besagen diese Sätze, dass sich die relative Häufigkeit eines Zufallsergebnisses in der Regel um die theoretische Wahrscheinlichkeit eines Zufallsergebnisses stabilisiert, wenn das zugrundeliegende Zufallsexperiment immer wieder unter denselben Voraussetzungen durchgeführt wird. Die häufig verwendete Formulierung, dass sich die relative Häufigkeit der Wahrscheinlichkeit "immer mehr annähert" ist dabei irreführend, da es auch bei einer großen Anzahl von Wiederholungen Ausreisser geben kann. Die Annäherung ist also nicht monoton.

Das wollen wir uns in diesem Abschnitt genauer anschauen.

Die Tschebyscheff'sche Ungleichung

Wir brauchen für die folgende Argumentation die sogenannte Tschebyscheff-Ungleichung:

Theorem 1: Tschebyscheff'sche Ungleichung

Sei $X$ eine Zufallsvariable mit Erwartungswert

\mu := \operatorname{E}(X)

und endlicher Varianz

\sigma^2 := \operatorname{Var}(X).

Dann gilt für alle reellen Zahlen $k>0$ :

P(|X-\mu|\geq k) \leq \frac{\sigma^2}{k^2}.

Durch den Übergang zum komplementären Ereignis erhält man

P(|X-\mu|< k) \geq 1-\frac{\sigma^2}{k^2}.

Proof

Als kleine Begründung (handwaving) betrachten wir für den diskreten Fall Instanzierungen $x_i, i\in I$ mit Wahrscheinlichkeit $p_i$ . Was bedeutet für eine beliebige Zahl $k$ die Aussage $P(|X-\mu| \geq k)$ ? Wir interessieren uns also für die Wahrscheinlichkeit, dass die Abweichung der Zufallsvariablen $X$ vom Erwartungswert $\mu$ grösser als $k$ ist. Nennen wir die Menge aller $i\in I$ , so dass die Instanzierung der Zufallsvariablen grösser als $k$ ist

K:=\{i\in I\mid |{x_i-\mu}| \geq k\}.

Wir lösen uns vom Betrag durch $(x_i-\mu)^2 \geq k^2$ , was äquivalent zu

\frac{(x_i-\mu)^2}{k^2} \geq 1

ist. Jetzt schätzen wir ab:

\begin{align*} P(|{X-\mu}|\geq k) &= \sum_{i\in K}p_i\leq\sum_{i\in K}p_i\cdot\frac{(x_i-\mu)^2}{k^2}\leq\sum_{i\in I}p_i\cdot\frac{(x_i-\mu)^2}{k^2}\\ &= \frac{1}{k^2}\cdot\sum_{i\in I}p_i(x_i-\mu)^2 = \frac{1}{k^2}\cdot\sigma^2 \end{align*}

Hieraus folgt unmittelbar

P(|{X-\mu}|<k) \geq 1 - \frac{\sigma^2}{k^2}.

Schwaches Gesetz der grossen Zahlen

Es gilt für eine Folge von i.i.d. (independent and identically distributed) Zufallsvariablen $X_1$ , $X_2$ , .... $X_n$ mit Erwartungswert $\mu$ und Varianz $\sigma^2$ für ihr arithmetisches Mittel (Mittelwert)

\bar{X}=\frac{X_1+\dots+X_n}{n}.

Beachte, dass $\bar{X}$ selbst wiederum eine Zufallsvariable ist. Es ist natürlich $\operatorname{E}(\bar{X})=\mu$ und für die Varianz gilt $\operatorname{Var}(\bar{X})=\frac{\sigma^2}{n}$ - da für unabhängige Zufallsvariablen die Varianz additiv ist und wie $\operatorname{Var}(nX) = n^2\operatorname{Var}(X)$ skaliert wird. Somit folgt mit der Tschebyscheff'schen Ungleichung

P(|{\bar{X}-\mu}|<k) \geq 1-\frac{\frac{\sigma^2}{n}}{k^2}.

was für $n\to\infty$ zu

\lim_{n\to\infty}P(|{\bar{X}-\mu}|<k) \geq 1=1

wird. Das heisst: für eine grösser werdende Anzahl von i.i.d. Zufallsvariablen geht die Wahrscheinlichkeit, dass die Abweichung ihres Mittelwerts vom Erwartungswert kleiner als eine beliebige positive Zahl $k$ ist, gegen $100\%$ .

Konvergenz gegen die Wahrscheinlichkeit

Beispielsweise gilt für Bernoulli-verteilte Zufallsvariablen $X_i$ mit Erfolgswahrscheinlichkeit $p$ , dass ihr Mittelwert (relative Häufigkeit) gegen die Wahrscheinlichkeit konvergiert (im Sinne von statistischer Konvergenz):

\bar{X} = \frac{X_1+\dots+X_n}{n} \stackrel{n\to\infty}{\longrightarrow} p.

Missinterpretation des Gesetzes

Das Gesetz der grossen Zahlen besagt nicht, dass man so was wie ausgleichende Gerechtigkeit hat, dass sich die Ergebnisse mit der Zeit ausgleichen: Man nehme eine faire Münze, werfe sie ein paar Mal und notiere wie oft Kopf gezeigt wird; das Verhältnis Kopf zu Anzahl Versuche geht mit grösserer Wahrscheinlichkeit gegen $0.5$ , wenn man die Anzahl der Würfe erhöht. Es wird aber nicht gesagt, dass sich Anzahl Kopf und Anzahl Zahl mit häufigerem Werfen sich "ausgleichen". Betrachte dazu die unten stehende Tabelle:

Würfe	$10$	$100$	$1\,000$	...	$100\,000$
"Kopf"	$4$	$43$	$440$	...	$47\,000$
rel. Häufigkeit	$0.4$	$0.43$	$0.44$	...	$0.47$
"Zahl"	$6$	$57$	$560$	...	$53\,000$
$\Delta$	$2$	$14$	$120$	...	$6\,000$