情報伝送速度とは

/情報・暗号

情報伝送速度

情報伝送速度とは、ノイズのある通信路を通して、実際に送信することのできる単位時間当たりの情報量(エントロピー)です。

ノイズのある通信路においては、送信データはノイズの影響を受けるため、送信信号と受信信号は必ずしも一致しません。受信信号を見ることにより、送信信号を推測することはできますが、不確定度が残ってしまいます。

通信路の入力側につながれた情報源の1秒当たりのエントロピーを $H(X)$、送信信号の不確定度を表すエントロピーを $H_Y(X)$ とした場合、情報伝達速度 $R$ は以下で表されます。

$$R=H(X)-H_Y(X)$$

この $H_Y(X)$ は情報の「あいまい度」と呼ばれています。

相互情報量

情報伝送速度は、送信信号と受信信号との相互情報量になっています。相互情報量($I$)とは、2つの事象($X,Y$)の相関度の強さをエントロピーで表したものです。

$$R=I(X,Y)$$$$=H(X)-H_Y(X)$$$$=H(Y)-H_X(Y)$$

エントロピーの計算

入力信号を($x_1,x_2,\cdots,x_n$)とし、情報源から信号が前後に関係なく $p(x_i)$ の確率で1秒間に1つずつ出るとした場合、送信信号のエントロピーは、

$$H(X)=-\sum_{i=1}^np(x_i)\log_2{p(x_i)}$$

出力信号を($y_1,y_2,\cdots,y_m$)とすると、$y_j$ が受信される確率 $p(y_j)$ は、

$$p(y_j)=\sum_{i=1}^np(x_i)p(y_j|x_i)$$

であるため、受信信号のエントロピーは以下で表されます。

$$H(Y)=-\sum_{j=1}^mp(y_i)\log_2{p(y_i)}$$

また、あいまい度は以下で計算できます。

$$H_Y(X)=-\sum_{i=1}^n\sum_{j=1}^mp(y_j)p(x_i|y_j)\log_2{p(x_i|y_j)}$$

情報伝送速度の計算

送信信号と受信信号が1ビットで、それぞれの90%の確率で正しく送信される通信路を考えます。ここで、送信信号の1と0はそれぞれ50%の確率で発生するとします。

送信信号 $x=0$ $x=1$
受信信号 $y=0$ $y=1$ $y=0$ $y=1$
発生率 90% 10% 10% 90%

送信信号のエントロピーは、

$$H(X)=-\frac{1}{2}\log_2{\frac{1}{2}}-\frac{1}{2}\log_2{\frac{1}{2}}=1$$

あいまい度のエントロピーは、

$$H_Y(X)=-\frac{1}{2}\frac{9}{10}\log_2{\frac{9}{10}}-\frac{1}{2}\frac{1}{10}\log_2{\frac{1}{10}}$$$$-\frac{1}{2}\frac{1}{10}\log_2{\frac{1}{10}}-\frac{1}{2}\frac{9}{10}\log_2{\frac{9}{10}}\cong0.469$$

情報伝送速度は以下になります。

$$R=H(X)-H_Y(X)=1-0.469=0.53$$

 

数学
解析学、代数学、幾何学、統計学、論理・基礎論、情報・暗号、機械学習、金融・ゲーム理論、高校数学
散策路TOP
数学、応用数学、古典物理、量子力学、物性論、電子工学、IT、力学、電磁気学、熱・統計力学、連続体力学、解析学、代数学、幾何学、統計学、論理・基礎論、プラズマ物理、量子コンピュータ、情報・暗号、機械学習、金融・ゲーム理論

 

タイトルとURLをコピーしました