基礎から学ぶ情報理論第 2 版(キソ カラ マナブ ジョウホウ リロン)

教科書選びで「基礎から」という言葉ほど当てにならないものはありませんが、大学向け教科書を数多く手がけるムイスリ出版の刊行物でこの書名なら、意味は明確です。講義で初めて情報理論に触れる学生を想定し、前提を積み上げ直しながら進む標準的な教科書、という位置づけがそれにあたります。本書は中村篤祥氏と喜田拓也氏の共著で、 2020 年 2 月に第 2 版が刊行されました。第 2 版という事実は、初版が実際の教育の場で使われ、その経験を反映して改められたことを示しています。

情報理論という科目で学ぶ内容の骨格は共通しています。情報の量をエントロピーとして定義し、データ圧縮の限界を情報源符号化の定理で示し、雑音のある通信路でも信頼できる伝送が可能であることを通信路符号化の議論で確かめる。この幹をどの順序でどこまで深く扱うかが教科書ごとの個性であり、基礎を看板に掲げる本書は、定義と定理の意味を確実に消化させる側に軸足を置く選択をしていると読めます。

確率の初歩を前提とする科目である以上、数式から自由にはなれませんが、初学者向けに設計された教科書は式変形の行間が狭く、独習でも追いやすいのが利点です。講義の指定教科書として出会う学生が中心の読者になるとして、それ以外では、通信・圧縮・機械学習の文献で頻出するエントロピーや相互情報量を、雰囲気でなく定義から理解し直したい独習者の再入門用にも据えられます。