通話路容量
通話路容量とは、通話路の能力を表す量で、１秒当たりのビット数で表されます。通話路容量は、通話路の情報伝達速度 $R$ の最大値となります。
$$C=\mathrm{max}\:R(\cdots p_i\cdots)=R(\cdots \hat{p}_i\cdots)$$
ある通話路を信号｛$A_1,A_2,\cdots,A_n$｝が次々流れるとし、１つの信号 $A_i$ の発生確率を $p_i$、その信号を送るのに掛かる時間を $t_i$ 秒とすると、通話路容量は以下の方程式の正の根として求めることができます。
$$\sum_i2^{-Ct_i}=1 -①$$
言い替えると、信号が以下の確率 $\hat{p}_i$ で発生する場合、最大の速度で伝送することができます。
$$\hat{p}_i=2^{-Ct_i} -②$$
また、通話路を通ることのできる信号系列のうちで、長さが $T$ 秒以内のものの総数を $N(T)$ とすると、通話路容量は以下で表すことができます。
$$C=\lim_{T\to\infty}\frac{\log_2{N(T)}}{T} -③$$
尚、雑音のない通話路の場合、情報伝達速度 $R$（ビット/秒）は、１信号当たりの情報量 $H$ を、１信号を送るのに掛かる時間の平均 $T$（平均伝送時間）で割って求められます。
$$R=\frac{H}{T}$$
$$T=\sum_ip_it_i -④$$$$H=-\sum_ip_i\log_2{p_i} -⑤$$
導出
①②を導く
これは以下の条件下で、
$$\sum_ip_i=1 -⑥$$
情報伝達速度 $R$ を最大にする確率 $\hat{p}_i$ を求める問題であるため、これをラグランジュ乗数法を使って解きます。以下の関数を定義して、
$$L\equiv R-\lambda\sum_ip_i$$
これが停留点をもつ条件を求めます。
$$\frac{\partial L}{\partial p_i}=0$$
これは、情報伝達速度の定義から以下のように書き換えられます。
$$\frac{1}{T}\frac{\partial H}{\partial p_i}-\frac{H}{T^2}\frac{\partial T}{\partial p_i}-\lambda=0$$$$\frac{1}{T}\Big(-\log_2{p_i}-\frac{1}{\ln{2}}\Big)-\frac{H}{T^2}t_i-\lambda=0 -(1)$$
ここで、$p_i$ を掛けて $i$ で和を取り、④⑤⑥を使うと以下になります。
$$-\frac{1}{T\ln{2}}-\lambda=0$$
これを (1) に代入すると、
$$\log_2{p_i}=-Rt_i$$
$\hat{p}_i$ で情報伝達速度 $R$ が最大（通話路容量：$C$）なるとすると、②が導かれます。
$$\log_2{\hat{p}_i}=-Ct_i$$$$\hat{p}_i=2^{-Ct_i} -②$$
ここで⑥の条件を考えると、①が導かれます。
$$\sum_i2^{-Ct_i}=1 -①$$
③を導く
長さが $T$ 秒以内の信号系列の最後の信号が $A_i$ とした場合、この $A_i$ を取り除いたときの信号系列の長さは $T-t_i$ 以内であり、その総数は $N(T-t_i)$ であるとします。最後の信号の数を $m$ とすると、$N(T)$ と $N(T-t_i)$ の関係は以下で表されます。
$$N(T)=\sum_{i=1}^mN(T-t_i)$$
この式を解くため、$N(T)=\alpha 2^{\beta T}$ と置き、代入すると、
$$\sum 2^{-\beta T}=1$$
これを①と比較すると $\beta=C$ であるから、
$$N(T)=\alpha 2^{CT}$$
従って、以下のように③が得られます。
$$\lim_{T\to\infty}\frac{\log_2{N(T)}}{T}=\lim_{T\to\infty}\frac{\log_2{\alpha}+CT}{T}=C$$
