大数の法則
大数の法則とは、サンプル数（試行回数）を増やせば、その平均は真の平均に近づくという法則です。例えば、コインの表裏の出る確率は、試行回数を増やせばそれぞれ $1/2$ に近づくことを示しています。
生命保険などの保険事故の発生率は、大数の法則に立脚した統計的確率であり、これに基づき保険料が算出されます。大数の法則は、個々人にとっては偶発的な事故であっても、大勢の人を対象とするとその発生率は全体として予測できるということを表します。
大数の法則には、大数の強法則と大数の弱法則の２つがあります。
大数の強法則
大数の強法則は、試行回数 $n$ を増やすと、確率変数 $x_i$ の標本平均 $\bar{x}_n$ が母平均 $\mu$ にほとんど確実に収束することを表します。一般に大数の法則というと、大数の強法則を指します。
$$P\Big(\lim_{n\to\infty}\bar{x}_n=\mu\Big)=1 -①$$$$\bar{x}_n\equiv\frac{1}{n}\sum_{i=1}^n x_i$$
大数の弱法則
大数の弱法則は、試行回数 $n$ を増やすと、確率変数 $x_i$ の標本平均 $\bar{x}_n$ が母平均 $\mu$ の任意の近傍 $\epsilon$ から外れる確率は、いくらでも小さくできること（確率収束）を表します。
$$\lim_{n\to\infty}P\big(|\bar{x}_n-\mu|\ge\epsilon\big)=0 -②$$
大数の弱法則の導出
大数の弱法則はチェビシェフの不等式から導かれます。④で確率変数を標本平均 $\bar{x}_n$ に置き替えると、分散は $\sigma^2\to\sigma^2/n$ となるため、$a\to\epsilon$ と置き替えると、
$$P\big(|\bar{x}_n-\mu|\ge\epsilon\big)\le\frac{\sigma^2}{n\epsilon^2}$$
ここで $n\to\infty$ とすると右辺は０に収束するため②が得られます。
チェビシェフの不等式
チェビシェフの不等式とは、どのような確率分布と標準偏差との間でも成り立つ関係を示した関係式です。例えば、標準偏差の $2$ 倍以上離れた値は、全体の $1/4$ 以下であることが示されます。
$$P\big(|x-\mu|\ge k\sigma\big)\le\frac{1}{k^2} -③$$
チェビシェフの不等式の導出
チェビシェフの不等式はマルコフの不等式から導かれます。⑤で $x\to(x-\mu)^2$ 、$a\to a^2$ と置くと、
$$P\big((x-\mu)^2\ge a^2\big)\le\frac{E\big[(x-\mu)^2\big]}{a^2}=\frac{\sigma^2}{a^2}$$
この左辺を書き換えると、
$$P\big(|x-\mu|\ge a\big)\le\frac{\sigma^2}{a^2} -④$$
ここで $k=a/\sigma$ と置くと③が得られます。
マルコフの不等式
マルコフの不等式とは、確率変数の非負値関数の値が、ある正の定数以上になる確率の上限を与える不等式です。マルコフの不等式は、非負の確率変数 $x\ge0$ を $E[x]\lt\infty$ とし、$a$ を任意の定数とすると以下で表されます。
$$P(x\ge a)\le\frac{E[x]}{a} -⑤$$
マルコフの不等式の導出
確率変数 $y$ を以下で定義し、
$$y=\left\{\begin{array}{ll}
0 & (x\lt a) \\
a & (x\ge a)\end{array} \right.$$
$y$ の期待値を計算すると、
$$E[y]=aP(y=a)=aP(x\ge a)$$
定義より、$y\le x$ で $E[y]\le E[x]$ であるから、
$$aP(x\ge a)\le E[x]$$
この両辺を $a$ で割れば⑤が得られます。
