自己情報量とは - 理数の散策路

情報理論では、ある事象が起こったことによって得られる情報量を、その事象の確率を用いて定量化できます。

自己情報量

自己情報量（self-information）とは、確率 $p_i$ の事象 $A_i$ が起こったとき、その事象がどれだけ「意外」であったかを数値化したもので、以下で定義されます。

$$ I(A_i)=-\log_2p_i　　-①$$$$\sum_{i=1}^np_i=1　　-②$$

起こりにくい事象ほど情報量が大きく、確実に起こる事象では情報量が0になります。例えば、確率と自己情報量の関係は以下になります。

$$p_i=\frac12　\to　I(A_i)=-\log_2\frac12=1\ {\rm bit} $$$$p_i=\frac18　\to　I(A_i)=-\log_2\frac18=3\ {\rm bit} $$

特に、各事象の確率が等しい場合 $p_i=1/n$ 、①は以下のように書くことができます。

$$I=\log_2{n}　　－③$$

情報量における加法性とは、互いに独立した出来事が同時に起きたとき、得られる情報量はそれぞれの情報量の和になるという性質のことです。

$n$ 個の事象を $m$ 個のグループに分け、各グループに $k$ 個の事象が含まれているとします。このとき $ n=mk $ となり、これを①に代入すると、

$$\log_2{n}=\log_2{mk}=\log_2{m}+\log_2{k}　　－④$$

したがって、まず $m$ 個のグループのどれかを特定するための情報量は $\log_2m$ であり、その後、グループ内の $k$ 個の事象のどれかを特定するための情報量が $\log_2k$ になります。

$n$ 個の事象を $m$ 個のグループに分け、各グループに $k$ 個の事象が含まれている場合、あるグループを特定するための情報量は、④より、

$$\log_2{m}=\log_2{n}-\log_2{k}=-\log_2{\frac{k}{n}}$$

従って、あるグループが起る確率を $p_i$（$=k/n$）とすると、そのグループを特定するための情報量 $I_i$ は①で求めることができます。

情報のエントロピー（以下、エントロピー）とは、各事象の自己情報量の期待値です。

ある事象 $A_i$ が発生したがどうかを知るための情報量は $-\log{p_i}$ で表されますが、これは確率 $p_i$ で得られる情報量です。得られる情報量の期待値（エントロピー：$H$）は以下で定義されます。

$$H=\sum_{i=1}^np_iI_i=-\sum_{i=1}^np_i\log_2{p_i}$$

情報のエントロピーは以下の特徴を持ちます。

エントロピーは非負の値を持つ。
どれか１つの事象に確定した場合（$p_i=1$、$p_{j\ne i}=0$）、エントロピーは０になる。
全ての事象の確率が等しい場合（$p_i=1/n$）、エントロピーは以下の最大値を持つ。$$p_i=\frac{1}{n}　\to　H_{\max}=\log_2n$$
情報を得ることで不確実性が減少します。その不確実性を平均的に測る量がエントロピーです。$I(X;Y)$ を相互情報量とすると、$$I(X;Y)=H(X)-H(X|Y) $$

特徴１と２は、エントロピーの定義より明らかです。

条件②の下で、エントロピーが停留点を持つ条件を、ラグランジュの乗数法を用いて求めます。ラグランジュ関数を以下で定義し、

$$L=-\sum_{i=1}^np_i\log_2{p_i}-\lambda\Big(\sum_{i}p_i-1\Big)$$

微分し、$\log_2e=1/\ln2$ を使うと、

$$\frac{\partial L}{\partial p_i}=-\log_2{p_i}-\frac{1}{\ln{2}}-\lambda=0$$$$\log_2{p_i}+\log_2{e}=-\lambda$$

各確率は定数となることが分かります。条件②より、

$$\sum_{i}p_i=\sum_{i}\frac{2^{-\lambda}}{e}=\frac{n2^{-\lambda}}{e}=1$$

これらにより、各確率は以下になり、

$$p_i=\frac{1}{n}$$

従って、エントロピーの最大値は以下で得られます。

$$ H =-\sum_{i=1}^{n}\frac1n\log_2\frac1n =\log_2n $$

６つの目をもつサイコロを例にとります。ケース１は全ての目が等確率の場合、ケース２は奇数が出ることが分かった場合、ケース３は１か３の目が出ることが分かった場合、ケース４は１の目が出ることが確定した場合とします。尚、情報理論では以下で定義します。

$$0\log_2 0=\lim_{p\to0^+}p\log_2p=0$$

ケース	目の出る確率	エントロピー
１	$(1/6,1/6,1/6,1/6,1/6,1/6)$	$$H_1=6\times\Big(-\frac{1}{6}\log_2{\frac{1}{6}}\Big)\cong2.58$$
２	$(1/3,0,1/3,0,1/3,0)$	$$H_2=3\times\Big(-\frac{1}{3}\log_2{\frac{1}{3}}\Big)\cong1.58$$
３	$(1/2,0,1/2,0,0,0)$	$$H_3=2\times\Big(-\frac{1}{2}\log_2{\frac{1}{2}}\Big)=1.00$$
４	$(1,0,0,0,0,0)$	$$H_4=1\times\Big(-\frac{1}{1}\log_2{\frac{1}{1}}\Big)=0$$

このように、結果の候補が少なくなるほど、エントロピーは小さくなります。

$$H1>H2>H3>H4$$

このとき、エントロピーの減少量 $\Delta H$ は以下になります。