情報理論 (改訂版)

話題をディジタル関係にしぼり, シャノン流の情報理論について, その本質を理解しやすいように, できるだけ難しい数学は避け, 例題や図を多く用いて解説した。初版第 1 刷発行後 20 年を経て, 古くなった記述を改めた。
1.序論
1.1 情報理論とは
1.2 通信システムのモデル
1.3 標本化定理と量子化

2.確率論の基礎
2.1 集合, 試行
2.2 確率
2.3 平均と分散
2.4 条件つき確率
2.5 マルコフ過程
2.6 ベイズの定理
演習問題

3.情報源符号化
3.1 情報源のモデル
3.2 エントロピー, 情報量
3.3 平均符号長
3.4 情報源符号化定理
演習問題

4.情報源符号
4.1 情報源符号化に必要な条件
4.2 ハフマン符号
4.3 ランレングス符号
4.4 算術符号
4.5 ZL 符号
演習問題

5.各種情報量
5.1 結合エントロピー
5.2 条件つきエントロピー
5.3 相互情報量
5.4 マルコフ情報源のエントロピー
演習問題

6.通信路の符号化
6.1 通信路のモデル
6.2 通信路容量
6.3 平均誤り率
6.4 通信路符号化定理
演習問題

7.符号理論
7.1 誤りの検出と訂正の理論
7.2 パリティ検査符号
7.3 線形符号
7.4 巡回符号
7.5 多項式とベクトル
7.6 畳込み符号と最ゆう復号
演習問題

付録
A.1 標本化定理
A.2 クラフトの不等式の証明
A.3 ハフマン符号が最適となる証明

引用・参考文献
演習問題解答
索引

情報理論の入門教科書を、高等学校レベルの数学で読み通せる形で探している高専生と大学の低学年に向けた 1 冊です。『情報理論 (改訂版)』は三木成彦氏と吉川英機氏の共著で、コロナ社の電気 / 電子系 教科書シリーズの 22 冊目として 2021 年 4 月に発行されました。話題をディジタル関係にしぼり、シャノン流の情報理論と符号理論の初歩を、例題と図を多く用いて解説しています。版元は想定する読者を、電気 / 電子系と情報系の高専 4、5 年生、および大学の電気 / 電子系と情報系の学科の 1、2 年生と案内しています。

全 7 章の構成、確率の基礎から畳込み符号まで

章立ては全 7 章です。第 1 章「序論」で通信システムのモデルと標本化定理、量子化を押さえ、第 2 章「確率論の基礎」で集合と試行、条件つき確率、マルコフ過程、ベイズの定理をまとめます。第 3 章「情報源符号化」でエントロピーと平均符号長、情報源符号化定理を扱い、第 4 章「情報源符号」ではハフマン符号、ランレングス符号、算術符号、ZL 符号という具体的な符号に進みます。第 5 章「各種情報量」は結合エントロピー、条件つきエントロピー、相互情報量、マルコフ情報源のエントロピー、第 6 章「通信路の符号化」は通信路容量と平均誤り率、通信路符号化定理です。第 7 章「符号理論」は誤りの検出と訂正の理論からパリティ検査符号、線形符号、巡回符号、多項式とベクトルへ進み、畳込み符号と最ゆう復号で終わります。演習問題は第 2 章から第 7 章の章末にあり、巻末に演習問題解答が付きます。付録には標本化定理、クラフトの不等式の証明、ハフマン符号が最適となる証明が置かれています。

情報源符号化と通信路符号化、2 つの定理が支える技術

情報理論の骨格は、シャノンが 1948 年に示した 2 つの定理です。情報源符号化定理は、情報源のエントロピーが 1 記号あたりの平均符号長の下限になることを示します。データ圧縮はこの下限にどこまで近づけるかの工夫で、ZIP 形式や PNG 画像が使う圧縮方式の Deflate は、Lempel と Ziv に由来する辞書式の圧縮とハフマン符号を組み合わせています。通信路符号化定理は、伝送の速さが通信路容量を下回る限り、符号を工夫すれば誤り率をいくらでも小さくできることを保証します。誤り訂正符号はこの保証を具体的な仕組みにする技術で、巡回符号を使う CRC はイーサネットのフレームの誤り検出に、畳込み符号とビタビ復号は無線や衛星の通信に使われてきました。まえがきでは、第 3 章と第 4 章が情報源符号化定理と情報源の符号化の方法を、第 5 章から第 7 章が相互情報量、通信路符号化定理、誤り検出と誤り訂正、線形符号を受け持つと説明されています。

高校数学で読む前提と、厳密さを求める読者への注意

まえがきによると、本書はできるだけ難しい数学を避けて例題を多くし、符号理論は抽象代数学の分野の用語をほとんど用いずに記述しています。その代わりに、定理の証明などで数学的厳密さを犠牲にしたところもあると著者が記しています。第 2 章は確率の基本的な用語と定理をまとめた章で、確率の単位を取っている学生は飛ばしてよいとされ、章の終わりには本書で用いる記号がまとめられています。執筆は第 1、2、3、5 章を三木氏、第 4、6、7 章を吉川氏が担当しました。版元の著者紹介では、吉川氏は誤り訂正符号の性能評価とブロック暗号の安全性評価の研究を行っていると紹介されています。改訂版について版元は、これまでの内容や構成は変更せず、全体の文面を見直してわかりやすい表現に改めたと説明しています。

電気 / 電子系と情報系の講義に向く範囲、向かない目的

情報理論の講義でこの本を教科書に指定された学生や、圧縮と誤り訂正の原理を具体的な符号の例から確かめたい人に向く範囲です。一方で、目次に LDPC 符号やターボ符号、リード・ソロモン符号の節はなく、暗号理論の章もありません。まえがきが話題をディジタル関係にしぼると明記しているとおり、ウィーナー流のアナログ関係の情報理論も対象の外です。本書は、圧縮の限界を示すエントロピーと、誤りなく送れる速さの限界を示す通信路容量の 2 つを、高校レベルの数学と例題でつなぐ構成の教科書です。