Transmission of Information(1927)
September 9, 2023Hartleyは、Transmission of Informationで、通信システムの情報伝達性能を評価するために、情報の定量的な尺度を提唱した。 シャノンが1948年に情報エントロピーを発表する21年前である。 Hartleyは、通信内容の意味や解釈を捨象し、記号列の有限な候補からある記号列を選ぶことを情報みなした。 シャノンは、有限の候補から記号列を選択する考えを継承し、さらに、記号が順に確率的に選ばれるとみなすことでHartleyの情報量の定義を情報エントロピーに発展させた。
Hartleyの情報量\(H\)は、選択された記号列の長さ\(n\)に比例する。 $$ H=Kn $$ \(K\)は通信システムが扱う記号の総数\(s\)に依存する定数である。
2つの通信システム1, 2があり、記号の総数が\(s_1\), \(s_2\), 長さが\(n_1\)の記号列と\(n_2\)の記号列の候補の数が等しいとき、 $$ s_1^{n_1} = s_2^{n_2} $$ が成りたつ。 このとき、情報量が等しくなるように\(K_1\)と\(K_2\)を定義すると $$ H=K_1n_1=K_2n_2 $$ から $$ \frac{K_1}{\log s_1}=\frac{K_2}{\log s_2} $$ となる。 すべての通信システムに共通の定数を\(K_0\)とし、\(K_i=K_0 \log s_i\)となるように\(K_i\)を定義するときのみ、上の等式はすべての\(s\)で成りたつ。
\(K_0\)を省略できるように、対数の基数を設定すれば $$ H=n\log s $$ となる。