期待値とは、ある確率変数の値に確率分布の重みをつけて足し合わせたもの（加重平均）です。
確率分布
連続値の確率分布（確率密度関数）を $f(x)$ とすると、以下の性質を持ちます。
$$\int_{-\infty}^\infty f(x)dx=1 , f(x)\ge0$$
また、離散値の確率分布 $f_i$ の場合は以下になります。
$$\sum_{i=1}^\infty f_i=1 , f_i\ge0$$
期待値
期待値の定義
確率変数ｘの期待値は以下で定義されます。
$$E(x)\equiv\int_{-\infty}^\infty xf(x)dx\equiv\sum_{i=1}^\infty x_if_i$$
特に確率変数が $n$ 個で、確率が全て等しい場合（$f_i=1/n$）期待値は以下になります。
$$E(x)=\frac{1}{n}\sum_{i=1}^nx_i$$
また、任意の関数 $g(x)$ の期待値は以下で定義されます。
$$E(g(x))\equiv\int_{-\infty}^\infty g(x)f(x)dx\equiv\sum_{i=1}^\infty g(x_i)f_i$$
期待値の性質
期待値には以下の性質があります。ここで、$x$ と $y$ は確率変数、$a$ は定数とします。
$$E(ax)=aE(x)$$
$$E(x+y)=E(x)+E(y)$$
特に、$x$ と $y$ が独立な場合は以下が成り立ちます。
$$E(xy)=E(x)E(y)$$
分散
以下、確率変数に限って話しを進めます。
分散の定義
分散は以下で定義されます。
$$V(x)\equiv E(x-E(x))^2$$
分散の性質
分散には以下の性質があります。ここで、$x$ と $y$ は確率変数、$a$ と $b$ は定数とします。尚、$C(x,y)$ は共分散です。
$$V(x)=E(x^2)-(E(x))^2$$
$$V(ax)=a^2V(x)$$
$$V(ax+by)=a^2V(x)+b^2V(y)+2abC(x,y)$$
共分散
共分散の定義
確率変数 $x$ と $y$ の共分散は以下で定義されます。
$$C(x,y)\equiv E[(x-E(x))(y-E(y))]$$
共分散の性質
共分散には以下の性質があります。
$$C(x,y)=E(xy)-E(x)E(y)$$
$$C(x,x)=V(x)$$
尚、確率変数が独立な場合は以下になります。
$$C(x,y)=0$$
相関係数
相関係数の定義は以下になります。
$$\rho_{xy}\equiv\frac{C(x,y)}{\sqrt{V(x)V(y)}}$$
特に、確率変数が独立な場合は、$\rho_{xy}=0$ となります。
