情報・符号理論

『情報・符号理論』 (楫 勇一 編著、オーム社、2013 年 10 月刊) は、電気 / 電子 / 通信系の大学学部に向けた 2 単位用のテキストシリーズ、OHM 大学テキストの 1 冊で、情報理論と符号理論の講義用の教科書です。版元の紹介文によれば、情報の数量的な定義や符号化とその限界を解説し、情報量、エントロピー、マルコフ情報源、通信路容量といった概念を理解できるように組まれています。全体は 1 コマの講義の回数に合わせた 15 章構成で、各章の末尾に演習問題があります。版元が示す対象は、電気 / 電子 / 通信系の学科に所属する学部 2、3 年生です。

全 15 章の構成、情報理論の概要から発展と応用まで

版元の目次では、本文は 1 章「情報理論の概要」から 15 章「情報理論の発展と応用」までです。2 章「事象の情報量」から 5 章「相互情報量および n 個の確率変数のエントロピー」までで情報を測る尺度を定め、6 章「情報源と符号化」から 10 章「マルコフ情報源」までで情報源の符号化を、11 章「通信路と符号化」から 14 章「通信路容量と通信路符号化定理」までで通信路の符号化を扱います。15 章は誤り訂正符号の歴史、多ユーザーが混在する通信、ネットワーク符号化、情報理論と暗号を取り上げます。巻末には演習問題の解答と参考文献、索引が付きます。

圧縮の限界を決めるエントロピーと語頭符号

情報理論は、情報を量として測り、符号化の限界を論じる、計算機科学 と通信工学にまたがる分野です。エントロピーは、情報源が出す記号 1 個あたりの平均の情報量を、各記号の確率とその対数で表した量です。情報源符号化定理は、一意に復号できる符号の平均符号語長がエントロピーより短くならないこと、複数の記号をまとめて符号化すればその下限にいくらでも近づけることを示します。本書の詳細目次には、符号木と語頭条件、クラフトの不等式、ハフマン符号、シャノン・ファノ符号、拡大情報源の項目があり、どの符号語も別の符号語の先頭部分にならないという語頭条件が、区切りの記号なしで復号できる符号の条件になります。

線形符号と通信路容量で学ぶ誤り訂正

通信路符号化定理は、伝送の速さが通信路容量より小さければ、符号を工夫して誤りの確率をいくらでも小さくできることを保証します。その符号を具体的に作る道具が線形符号で、本書は 12 章で有限体上のベクトル空間と線形写像を導入し、生成行列と検査行列、復号法へ進みます。13 章で扱う具体例は、繰返し符号、単一パリティ検査符号、ハミング符号、リード・マラー符号、低密度パリティ検査符号です。ハミング符号は 1 ビットの誤りを訂正できる符号です。15 章の「情報理論と暗号」は、暗号化 と情報理論の関係を扱います。

確率分布と期待値は 3 章で、2 進数は 8 章で復習の項目として扱われ、12 章からは有限体上の線形代数を道具に使います。『情報・符号理論』は、事象の情報量の定義から情報源符号化定理、線形符号、通信路符号化定理、情報理論の応用までを、講義の回数に合わせた全 15 章に収めています。