情報理論 (改訂版)(ジョウホウリロンカイテイバン)

話題をディジタル関係にしぼり,シャノン流の情報理論について,その本質を理解しやすいように,できるだけ難しい数学は避け,例題や図を多く用いて解説した。初版第 1 刷発行後 20 年を経て,古くなった記述を改めた。
1.序論
1.1 情報理論とは
1.2 通信システムのモデル
1.3 標本化定理と量子化

2.確率論の基礎
2.1 集合,試行
2.2 確率
2.3 平均と分散
2.4 条件つき確率
2.5 マルコフ過程
2.6 ベイズの定理
演習問題

3.情報源符号化
3.1 情報源のモデル
3.2 エントロピー,情報量
3.3 平均符号長
3.4 情報源符号化定理
演習問題

4.情報源符号
4.1 情報源符号化に必要な条件
4.2 ハフマン符号
4.3 ランレングス符号
4.4 算術符号
4.5 ZL 符号
演習問題

5.各種情報量
5.1 結合エントロピー
5.2 条件つきエントロピー
5.3 相互情報量
5.4 マルコフ情報源のエントロピー
演習問題

6.通信路の符号化
6.1 通信路のモデル
6.2 通信路容量
6.3 平均誤り率
6.4 通信路符号化定理
演習問題

7.符号理論
7.1 誤りの検出と訂正の理論
7.2 パリティ検査符号
7.3 線形符号
7.4 巡回符号
7.5 多項式とベクトル
7.6 畳込み符号と最ゆう復号
演習問題

付録
A.1 標本化定理
A.2 クラフトの不等式の証明
A.3 ハフマン符号が最適となる証明

引用・参考文献
演習問題解答
索引

コロナ社の「電気・電子系 教科書シリーズ」の 1 冊として編まれた、シャノン流情報理論の入門教科書です。著者は三木成彦氏と吉川英機氏。話題をディジタル関係に絞り込み、できるだけ難しい数学を避けて例題と図で本質を伝えるという編集方針が明確で、情報理論に初めて触れる学部生を想定した作りになっています。初版から 20 年を経た 2021 年に、古くなった記述を改めた改訂版が刊行されました。

流れは王道です。通信システムのモデルと標本化定理から入り、確率論の基礎を一章かけて整えたうえで、エントロピーと情報源符号化定理、ハフマン符号・ランレングス符号・算術符号・ ZL 符号といった具体的な符号、相互情報量などの各種情報量、通信路容量と通信路符号化定理、そしてパリティ検査符号から線形符号・巡回符号・畳込み符号に至る符号理論まで進みます。各章に演習問題と解答が付き、クラフトの不等式やハフマン符号の最適性の証明は付録に分離されているため、まず使い方と意味を押さえ、必要に応じて理論の裏付けに戻る読み方ができます。

前提は確率の初歩程度で、高校数学から大きく飛躍しません。情報系・電気系の講義の教科書としてはもちろん、圧縮や誤り訂正の仕組みを原理から確かめたい実務エンジニアが週末に通読する用途にも収まりのよい分量です。