はじめての情報理論 (第 2 版)(ハジメテノジョウホウリロンダイニハン)

多くの大学・高専で採用されてきた情報理論の定番テキストが、より学びやすくリニューアルされました。

基礎から通信路符号化まで、数式が多くつまずきがちな部分も、図版を用いたやさしい解説で無理なく学べるよう工夫されています。また、レイアウトの刷新、解説の見直しなどで、さらに見やすく、わかりやすくブラッシュアップされています。

豊富な例題・演習問題を通して、問題を解きながら理解が深まる、初学者におすすめの一冊です。
第 1 章 序論
第 2 章 情報量
第 3 章 情報源
第 4 章 情報源符号化
第 5 章 通信路
第 6 章 通信路符号化
第 7 章 線形符号

付録 A 確率論の基本事項
付録 B ASCII 符号
付録 C 命題論理
付録 D 10 進数の n 進数への変換
付録 E 2 を底とする対数の変換

エントロピー、情報源符号化、通信路符号化。これらの概念は通信・データ圧縮・暗号・機械学習など幅広い分野の土台になっているにもかかわらず、数学的な抽象度の高さからとっつきにくいと感じる人が少なくありません。本書は森北出版の大学教科書シリーズの一冊で、情報理論の核となるシャノンの体系を初学者向けに丁寧に噛み砕いて解説します。

扱う範囲は情報量の定義から始まり、情報源のモデル化、ハフマン符号に代表される情報源符号化、そして通信路容量と誤り訂正符号へと進みます。各章に演習問題が用意されており、手を動かしながら理解を確認できる構成です。対数や確率の基礎知識があれば読み進められる水準に抑えられているため、大学 2 〜 3 年次の学部生が講義と並行して使う教科書として、あるいは社会人が独学で情報理論に入門する際の出発点として適しています。

いわゆる読み物寄りの入門書ではなく教科書であるため、文体はやや硬く、具体的な実装例は多くありません。その代わり、定理と証明を省略せずに追える構成になっており、理論を正確に身につけたい人にとっては堅実な選択肢です。