はじめての情報理論 (第 2 版)(ハジメテノジョウホウリロンダイニハン)

多くの大学・高専で採用されてきた情報理論の定番テキストが、より学びやすくリニューアルされました。

基礎から通信路符号化まで、数式が多くつまずきがちな部分も、図版を用いたやさしい解説で無理なく学べるよう工夫されています。また、レイアウトの刷新、解説の見直しなどで、さらに見やすく、わかりやすくブラッシュアップされています。

豊富な例題・演習問題を通して、問題を解きながら理解が深まる、初学者におすすめの一冊です。
第 1 章 序論
第 2 章 情報量
第 3 章 情報源
第 4 章 情報源符号化
第 5 章 通信路
第 6 章 通信路符号化
第 7 章 線形符号

付録 A 確率論の基本事項
付録 B ASCII 符号
付録 C 命題論理
付録 D 10 進数の n 進数への変換
付録 E 2 を底とする対数の変換

データ圧縮はどこまで縮められるのか。ノイズだらけの通信路で、なぜ正確にデータが届くのか。この 2 つの問いに数学で答えるのが情報理論で、圧縮・通信・誤り訂正から機械学習の損失関数まで、 IT の足元を静かに支えている分野です。『はじめての情報理論 第 2 版』 (稲井寛 著、森北出版、 2020 年 11 月刊) は、その入り口に立つ人のための教科書です。初版は 2011 年 7 月刊行で、版元が「多くの大学・高専で採用されてきた定番テキスト」と紹介する実績があり、第 2 版ではレイアウトの刷新と解説の見直しでいっそう学びやすく手が入れられています。

シャノンの 2 本柱を登る構成

構成は情報理論の王道の順序です。序論と情報量の定義 (エントロピー) から始まり、情報源のモデル化、情報源符号化 (圧縮の理論) 、通信路、通信路符号化 (誤りに強い伝送の理論) と進み、最終章の線形符号で誤り訂正符号の代数的な扱いに触れます。つまり前半で「情報をどこまで短くできるか」、後半で「誤りがあってもどこまで正しく伝えられるか」という、シャノンが打ち立てた 2 本柱をそのまま登る構成です。数式が多くつまずきがちな分野ですが、図版を使ったやさしい解説と豊富な例題・演習問題で、問題を解きながら 理解を固められるよう作られています。

付録 5 本という独学への配慮

この本らしい配慮が付録の充実です。確率論の基本事項、 ASCII 符号、命題論理、 10 進数から n 進数への変換、 2 を底とする対数の変換と、つまずきの原因になりやすい 前提知識 が巻末に 5 本まとめられています。情報理論の独学が挫折しやすいのは本編ではなく「確率と対数の記憶が曖昧」という手前の段差であることが多いので、本の中で戻れる場所が用意されているのは独学者にとって実用的な保険になります。

向いている読者と前提知識

向いているのは、講義と並行して使う情報系の学部生・高専生はもちろん、基本情報技術者試験 などでエントロピーや符号化に出会って「ちゃんと理解したい」と思ったエンジニア、機械学習で交差エントロピーを毎日使いながら情報量の定義を説明できないことが気になっている人です。前提は高校数学に確率と対数の初歩が加わる程度で、足りない部分は付録で補えます。一方、体裁はあくまで教科書なので、読み物調の軽さや、プログラミングによる実装演習を期待する人には向きません。

賞味期限の長い知識という価値

情報理論は一度土台を作れば技術の流行に左右されない、賞味期限の長い知識 です。圧縮アルゴリズムの限界、誤り訂正の存在理由、機械学習の損失関数の意味が一本の理論でつながる体験には、教科書 1 冊分の投資に見合う価値があります。定番として使われ続けてきた実績と独学への配慮を兼ね備えた本書は、その 1 冊目として堅実な選択です。