情報理論 改訂 2 版

情報理論について、図と例を多く用いて、直感的な理解を重視。また、例題や演習問題に応用上具体的かつ実践的に理解できるよう構成。
本書では、数学的厳密さにはあまりとらわれず、図と例を多く用いて、直感的な理解が重視されています。また、例や演習問題に応用上、深い意味をもつものを取り上げ、具体的かつ実践的に理解できるよう構成しています。
さらに、今回の改訂において著者自ら全体の見直しを行い、最新の知見の解説を追加するとともに、さらなるブラッシュアップを加えています。初学者の方にも、熟練の技術者の方にも、わかりやすく、参考となる書籍です。

『情報理論 改訂 2 版』は、情報をどこまで短く表せるか、雑音のある通信路でどこまで正確に送れるかという情報理論の基本の問いを、図と例を多く用いて解説する大学向けの教科書です。著者は今井 秀樹で、オーム社から 2019 年 2 月 22 日に発売されました。版元は本書を今井 秀樹の『情報理論』の改訂版と案内しており、改訂にあたって著者自身が全体を見直し、新たな知見の解説を加えたとしています。版元が勧める読者は、情報通信系学科の大学学部 1、2 年生です。

全 8 章の構成、情報源のモデルからアナログ通信路まで

本書は全 8 章です。第 1 章「序論」、第 2 章「情報理論の問題」で通信システムのモデルと符号化の考え方、問題の立て方を示し、第 3 章「情報源と通信路のモデル」でマルコフ情報源やバースト誤り通信路を含む確率的なモデルを用意します。続く第 4 章「情報源符号化とその限界」、第 5 章「情報量とひずみ」、第 6 章「通信路符号化の限界」、第 7 章「通信路符号化法」で理論の中心を扱い、第 8 章「アナログ情報源とアナログ通信路」で標本化定理、量子化、白色ガウス通信路の通信路容量へ進みます。第 3 章から第 8 章までの各章末に演習問題があり、巻末には参考文献、演習問題解答、索引が付きます。

情報源符号化と通信路符号化、二つの限界を示す定理

情報理論の出発点は、1948 年に C. E. シャノンが示した二つの限界です。一つは、情報源から出る記号の列を誤りなく符号にする時、1 記号あたりの平均符号長はエントロピーより短くできないという限界で、データ圧縮がどこまで可能かを決めます。もう一つは、通信路ごとに通信路容量という上限があり、それを下回る速度であれば符号を工夫することで誤りの確率をいくらでも小さくできるという限界です。本書では第 4 章がクラフトの不等式、ハフマン符号、情報源符号化定理、算術符号、辞書法を含むユニバーサル符号化法を、第 5 章が相互情報量と、ひずみを許す場合の速度 / ひずみ関数を、第 6 章が通信路容量、最尤復号法、通信路符号化定理、信頼性関数を扱います。

ハミング符号から BCH 符号、RS 符号へ進む第 7 章

第 7 章「通信路符号化法」は、単一パリティ検査符号と (7,4) ハミング符号から入り、生成行列と検査行列、ハミング距離と最小距離による誤り訂正能力、巡回符号、ガロア体、BCH 符号、非 2 元の BCH 符号と RS 符号、バースト誤りの訂正、畳み込み符号ビタビ復号法、繰返し復号法へと進みます。リード・ソロモン (RS) 符号は QR コードや光ディスクの誤り訂正に使われ、繰返し復号は携帯電話の通信などで使われる符号の復号の考え方につながる技術です。第 7 章では、誤り訂正符号がガロア体という代数の道具立てとあわせて扱われています。

図と例を重視する作り、情報通信系の学部 1、2 年生向け

版元は本書の方針を、数学的厳密さにはあまりとらわれず、図と例を多く用いて直感的な理解を重視するものと説明しており、例や演習問題には応用上深い意味をもつものを選んでいます。暗号の理論は章として立てられておらず、第 2 章の「情報セキュリティのための符号化」という項で問題の広がりの一つとして挙がる位置づけです。本書は、情報理論の問題設定から情報源符号化、通信路符号化、アナログ情報源とアナログ通信路までを全 8 章に収め、第 3 章以降の各章末に演習問題を置いています。