わかりやすい ディジタル情報理論 (改訂 2 版)

理工系・文系を問わず非常にわかりやすい情報理論、符号理論の教科書!
著者の長年の講義経験をもとに練り上げた情報理論・符号理論の教科書です。
大学 1 年生が読むことを念頭に、難解な内容となることを避け、高卒程度の数学を用いて、情報理論を解説しています。演習問題も数多く掲載しています。
改訂 2 版では、符号理論に関する解説をより追加、現行の大学・高専のカリキュラムにより即した内容とするほか、現在の視点からみて適切なアップデートをしています。

『わかりやすい ディジタル情報理論 (改訂 2 版)』 (塩野 充、蜷川 繁 著、オーム社、2021 年 6 月刊) は、情報量とエントロピーを軸に、情報源と通信路のモデル、データの符号化、暗号までを高卒程度の数学を用いて解説する情報理論の教科書です。版元の紹介文では、著者の長年の講義経験をもとに練り上げた内容で、大学 1 年生が読むことを念頭に置き、演習問題も数多く掲載していると説明されています。版元が挙げる対象は、「情報理論」を学ぶ大学学部 / 短大 / 専門学校の学生と、電気 / 電子 / コンピューター関連の初級技術者です。

全 6 章の構成、2 進数の基礎から暗号と情報セキュリティまで

本文は 1 章「2 進数の基礎」から 6 章「暗号による通信と情報セキュリティ」までの全 6 章です。1 章で自然 2 進数や文字コード、10 進数との変換を、2 章「確率論の基礎知識」で集合、条件付き確率、ベイズの定理、確率変数を扱ったうえで、3 章「情報量とエントロピー」で自己情報量、平均情報量、相互情報量へ進みます。4 章「情報源と通信路」はシャノンの通信系のモデル、マルコフ情報源、通信路容量の計算を、5 章「符号化」はクラフトの不等式、シャノン-ファノの符号化法、ハフマンの符号化法、LZ 符号化法から、ハミング距離、パリティー検査法、ハミング符号、巡回符号までを扱います。6 章は暗号のモデルとシーザー暗号などの簡単な暗号例から、暗号の安全性と分類、ディジタル署名、ハッシュ関数へ続きます。各章に章末問題があり、巻末には演習問題 80 選、章末問題と演習問題の略解、エントロピー関数表と 10000 までの素数表の付録 2 本、参考文献が収録されています。改訂 2 版について、版元は「符号理論に関する解説をより追加」したと案内しています。

情報量から誤り訂正符号までをつなぐシャノンの理論

情報理論は、シャノンが示した枠組みを出発点とする分野で、出来事の起こりにくさを対数で測った値を情報量と呼び、その平均をエントロピーと呼びます。エントロピーは、どれだけ工夫してもそれより短くは表せない平均符号長の下限を与え、これを示すのがシャノンの第 1 基本定理 (情報源符号化定理) です。ハフマン符号や LZ 系の符号化はこの下限に近づくための具体的な方法で、ZIP や PNG が使う DEFLATE は LZ77 とハフマン符号を組み合わせた方式です。一方、雑音のある通信路では、通信路容量を下回る速さであれば誤りを限りなく小さくできる符号が存在するというのが第 2 基本定理で、パリティ検査やハミング符号はその考えを実装に落とした道具にあたります。メモリの誤り訂正や QR コードの読み取りの強さも、この系譜の技術の上に成り立っています。通信内容を 暗号化 して第三者に読めなくする技術や、データの改ざんを見つけるための ハッシュ の値も、情報をどのような記号の列に写すかという同じ問いの延長にあり、シャノン自身も秘匿の強さを情報理論の言葉で論じています。

高卒程度の数学という前提と、章末問題と演習問題

求められる数学は、版元の紹介文が示すとおり高卒程度です。確率については 2 章で集合や試行と事象から説き起こしています。

暗号の章の目次に並ぶのは暗号のモデル、簡単な暗号例、安全性、分類、ディジタル署名、ハッシュ関数で、暗号ライブラリの使い方のような実装の手順を扱う節はありません。本書は、2 進数と確率の準備から情報量とエントロピー、情報源と通信路、符号化、暗号と情報セキュリティまでを全 6 章に収め、各章の章末問題と巻末の演習問題 80 選を載せた教科書です。