情報量

『情報量』 (山本 宙 著、コロナ社、2019 年 3 月刊) は、情報理論のうち情報源符号化定理に範囲を絞り、符号語長とエントロピーを通じて情報量の概念を証明とともに学ぶ教科書です。副題は「情報理論への招待」です。版元の紹介文は、情報源符号化定理の解説に重点をおき、基本的な数学の知識で理解できるように記述して、定理は結果と使用法だけでなく証明の内容を厳密にわかりやすく解説したと案内しています。

情報源符号化定理に絞る 3 つの制限と付録 A の数学

まえがきによれば、本書は学部低学年を対象に、100 分の授業 14 回程度で学習できる内容を選んで構成したもので、週 1 コマで半年間という授業の形に合わせて書かれています。範囲を絞るためにかけた制限は 3 つで、情報源符号化定理を主なテーマとして通信路符号化定理は扱わないこと、情報源を記憶のない情報源に限ること、通信路の符号アルファベットを 2 元に限ることです。前提とする知識は確率過程や微分積分に関する基本的な数学の知識とされ、巻末の付録 A が式の書き方の約束事、写像、期待値、必要条件と十分条件と証明、指数と対数の公式を数学の準備として扱います。

序章から 5 章まで、符号の種類からエントロピーと情報量へ

構成は序章「情報理論とは」と 1 章から 5 章、付録 A と付録 B です。1 章「問題はなにか」で起きた事柄を伝える手段と符号化、通信に必要な符号語長という問題を立て、2 章「符号の種類」で情報源と符号のモデル化、一意に復号可能な符号と瞬時に復号可能な符号を区別します。3 章「符号語長の制約」はクラフトの不等式と、瞬時に復号可能な符号が存在するための十分条件、一意に復号可能であるための必要条件を扱い、4 章「平均符号語長とハフマンの符号化」は平均符号語長とコンパクト符号から、ハフマンの符号化の結果がコンパクト符号であることの証明まで進みます。5 章「エントロピーと情報量」は平均符号語長の下界とエントロピー、情報源の拡大、情報源符号化定理を経て情報量で終わります。付録 B は「情報量の尺度が対数関数に限られる理由」で、各章に章末問題、巻末に章末問題解答があり、本文の間には Coffee Break と題したコラムが入ります。

平均符号語長の下限としてのエントロピー

記憶のない情報源では、各記号の出現確率の逆数の対数を確率で重み付けして平均した値がエントロピーで、2 を底に取ればビットで表した平均の長さの下限になります。2 元の符号は、根から左右の枝に 0 と 1 を割り当てた 2 分の 木構造 の上に符号語を並べたものとして表せます。出現確率の小さい 2 つの記号を繰り返しまとめて木を組み上げる アルゴリズム がハフマンの符号化で、本書は 4 章でその最適性を証明まで扱います。複数の記号をまとめて符号化すれば平均の長さを下限に近づけられるという結論が、5 章の情報源符号化定理です。定理には結果だけでなく証明が付き、各章に章末問題があります。

本書は、符号の種類と符号語長の制約から、ハフマンの符号化、エントロピー、情報源符号化定理、情報量までを、序章と 5 つの章、数学の準備と対数の尺度の理由を扱う 2 つの付録に収めています。