情報理論のエッセンス (改訂 2 版)

「情報理論」のエッセンスを詰め込んだ教科書!
大学学部、情報通信系学科の必修課目「情報理論」のエッセンスを詰め込んだ教科書です。
多くの人が難しく感じるところをできるだけ丁寧に、本質をしっかり押さえて解説しています。補足的な説明やより進んだ説明をコラムとして配し、発展的な応用問題には*印を付し、学習上の区分けが明確になるよう配慮しています。
改訂にあたっては、現行の大学・高専のカリキュラムに沿った見直しを行ったほか、読者の声をもとによりわかりやすい解説に改めています。

『情報理論のエッセンス (改訂 2 版)』 (平田 廣則 著、オーム社、2020 年 10 月刊) は、情報量の定義から情報源符号化、通信路容量、誤り訂正符号までを 1 冊にまとめた情報理論の教科書です。版元は本書を、大学学部の情報通信系学科の必修課目「情報理論」のエッセンスを詰め込んだ教科書と紹介し、勧める読者に情報通信系学科の大学学部 1、2 年生を挙げています。改訂にあたっては、大学と高専のカリキュラムに沿った見直しと、読者の声をもとにした解説の改めが行われたと案内されています。

全 11 章の構成、情報量の定義から巡回符号まで

主要目次は 11 章です。「情報理論とは?」に続き、「情報のとらえ方と情報量」「平均情報量 (エントロピー) の性質」「情報源」「情報源符号化」「具体的符号化法」と、情報を測る量の定義から圧縮の理論と具体的な符号へ進みます。後半は「通信路と相互情報量」「通信路符号化」「誤り検出と訂正」「線形符号」「巡回符号」で、雑音のある通信路を扱う理論から、誤りを見つけて直す符号の構成へ移ります。2 章から 11 章の各章末には演習問題が置かれ、版元の紹介文によれば、演習問題には難易度に応じて 5 段階のレベル分けが付き、補足的な説明やより進んだ説明はコラムとして配されています。国立国会図書館の書誌では文献と索引ありとされています。

エントロピーと情報源符号化定理が示す圧縮の限界

情報理論の出発点は、シャノンが発表した通信の数学的理論です。起こる確率が p の出来事の自己情報量は p の対数にマイナスを付けた値で定義され、その平均がエントロピーです。めったに起こらない出来事ほど多くの情報を運ぶという直感を、この定義が数の形にしています。情報源符号化定理は、どれほど工夫しても 1 記号あたりの平均符号長をエントロピーより短くはできないことを示し、圧縮の理論上の下限を与えます。本書の 5 章はクラフトの不等式や瞬時符号、符号の効率と冗長度を扱い、6 章でシャノン・ファノ符号とハフマン符号という具体的な符号化法に進みます。ハフマン符号は ZIP などで使われる Deflate 方式の一部にも組み込まれており、理論の下限と実際の圧縮方式が直接つながる分野です。

通信路容量から誤り訂正符号へ、線形符号と巡回符号の位置

雑音のある通信路では、送った記号が別の記号に化けることがあります。相互情報量は、受け取った記号からもとの記号についてどれだけの情報が得られるかを表す量で、その最大値が通信路容量です。通信路符号化定理は、伝送の速さが通信路容量を下回る限り、符号を工夫すれば誤りの確率をいくらでも小さくできることを示します。この保証を実際の符号で実現する手段が誤り訂正符号で、本書はパリティ検査とハミング距離から入り、生成行列と検査行列、シンドロームで扱う線形符号、さらに符号多項式で表す巡回符号へ進みます。巡回符号の考え方は、通信やストレージで誤りの検出に広く使われる CRC (巡回冗長検査) の土台です。

目次の範囲

7 章には通信路での確率関係を扱う節があります。目次の範囲は巡回符号までで、畳み込み符号や、LDPC 符号のような繰り返し復号を前提にした符号は節題にありません。目次にプログラムで符号器や復号器を実装する演習はありません。

本書は、自己情報量とエントロピーの定義から、情報源符号化、通信路容量と通信路符号化定理、線形符号と巡回符号までを、第 2 章から第 11 章の章末の演習問題とともに全 11 章に収めています。