14.6. 情報理論と符号化

理論的な情報量を導入します。その後、データの圧縮表現との対応を紹介します。

14.6.1. 情報量と平均情報量

これまで0または1をとる表現を1bit とし、bitの列の長さを情報の量のように使ってきました。ここで一旦それらを忘れて、理論的な情報量とbitを新たに定義します。少し後で、両者はつながります。

平均情報量を議論したときのイベントを、bit 列で符号化することを考えます。このときうまく符号化したときの、平均符号長の下限が平均情報量で与えられます。

圧縮と復元 (伸張) の方法として、二つの流儀が使われています。細かい指示の方法や性能が少し違いますが、機能はおおむねどちらも同じです。ECCS iMac端末ではどちらも使えます。