基礎から学ぶ情報理論第 2 版

『基礎から学ぶ情報理論 第 2 版』 (中村篤祥ほか 著、ムイスリ出版、2020 年 2 月刊) は、情報量とエントロピー、情報源符号化、通信路符号化を全 8 章で扱う情報理論の教科書です。国立国会図書館の書誌では、著者は中村篤祥、喜田拓也、湊真一、廣瀬善大と記録されています。情報の量をどう測るかという定義から始め、データを短く表す情報源符号化と、雑音のある通信路で誤りを抑えて送る通信路符号化を、それぞれの限界と具体的な方法の両面から扱います。

全 8 章の構成、情報量から通信路符号化法まで

目次は、第 1 章「情報理論とは」、第 2 章「情報量とエントロピー」、第 3 章「情報源のモデル」、第 4 章「情報源符号化の限界」、第 5 章「情報源符号化法」、第 6 章「通信路のモデル」、第 7 章「通信路符号化の限界」、第 8 章「通信路符号化法」の全 8 章です。巻末には付録 A「確率の基本事項」、付録 B「対数とその性質」、付録 C「対数表とエントロピー関数表」と演習解答が付き、国立国会図書館の書誌には文献と索引ありと記録されています。

エントロピーと 2 つの符号化定理という語

情報理論の中心にあるのは、確率で表した不確かさの量です。ある出来事が確率 p で起こるとき、その出来事が起きたと知って得る情報の量は p の対数にマイナスを付けた値で表され、その平均がエントロピーです。エントロピーには、記号を 0 と 1 の列に置き換えるとき、1 記号あたりの平均の長さをそれより短くはできないという下限の意味があります。この下限を示すのが情報源符号化の定理で、ハフマン符号のように出やすい記号に短い符号を割り当てる方法は、その下限にどこまで近づけるかという問いへの答えです。

通信路の側では、送った記号が雑音で別の記号に化ける確率を通信路のモデルとして表し、そこから通信路容量という上限が定まります。通信路符号化の定理は、容量より小さい速度で送る限り、符号を工夫すれば誤りの確率をいくらでも小さくできることを述べます。

付録 A から C と演習解答

本書は付録 A で確率の基本事項を、付録 B で対数の性質を扱い、付録 C に対数表とエントロピー関数表を収めています。演習の解答は巻末にあります。

本書は、情報量とエントロピーの定義から情報源符号化と通信路符号化の限界と方法までを、全 8 章と付録 3 本、演習解答に収めています。