情報理論

クロード・シャノンが記念碑的論文「通信の数学的理論」を発表したのは 1948 年のことだった。それから 60 余年ー今では情報理論は情報通信のみならず、生命科学や脳科学、社会科学など幅広い分野に応用されるようになっている。情報理論は高度な数学を用いているが、“大数の法則”をおさえることでその本質がすっきりと見えてくる。シャノンのアイディアから情報幾何学の基礎までを、初学者にもわかるよう明快に解説、情報理論の考え方と仕組みを直観的に理解するための、第一人者の手による入門書。

『情報理論』 (甘利俊一 著、筑摩書房、ちくま学芸文庫、2011 年 4 月刊) は、クロード・シャノンが 1948 年に発表した論文「通信の数学的理論」に始まる情報理論を、情報量とエントロピーの定義から信号空間の情報幾何学まで全 5 章で解説した入門書です。版元の紹介文は、情報理論は高度な数学を用いているものの“大数の法則”をおさえることでその本質が見えてくるという立場を示し、本書を「初学者にもわかるよう明快に解説」した入門書と位置づけています。情報やエントロピーを公式の暗記でなく、考え方の筋道から理解したい人に向いた一冊です。

全 5 章の構成、情報量の定義から信号空間の情報幾何学まで

第 1 章「情報の数量的認識」は情報量とエントロピー、情報源を扱います。第 2 章「雑音のない通話路による情報伝送」は雑音のない離散通話路と符号化による冗長度の除去を、第 3 章「雑音のある通話路での情報伝送」は雑音のある離散通話路の容量と誤り訂正符号を取り上げます。第 4 章「連続情報と信号空間」からは連続的な信号へ対象を移し、連続信号のエントロピー、信号空間の構成、連続通話路、信号空間の情報幾何学へ進みます。最後の第 5 章「信号空間の写像と通信系の理論」は、通信系の構造と連続通信系の理論で締めくくられます。本書は通信路にあたる語を通話路と表記しているので、他の教科書と読み比べる時は同じ対象を指していると押さえておくと迷いません。

大数の法則がエントロピーの意味を支える仕組み

情報理論の入り口でつまずきやすいのは、エントロピーの式そのものより、その値がなぜ圧縮や通信の限界を表すのかという点です。ここで効いてくるのが大数の法則です。確率に従って記号を長く並べると、出てくる系列のほとんどは、それぞれの記号がほぼ確率どおりの割合で現れる典型的な系列に集中します。その典型的な系列の数を数えると、系列の長さとエントロピーの積で決まる桁数のビットで書き分けられることが分かり、これがデータ圧縮の限界になります。雑音のある通信路でも、通信路容量より遅い速度であれば誤りの確率をいくらでも小さくできるという定理が、同じ数え上げの発想で見通せます。こうした量は通信に限らず、交差エントロピーや相互情報量として 機械学習 の損失関数や特徴の選択でも日常的に使われます。

情報幾何学の基礎まで進む構成と、著者の専門との重なり

本書はシャノン流の情報理論で終わらず、第 4 章で信号空間の情報幾何学も扱います。情報幾何学は、確率分布や信号の集まりを曲がった空間として捉え、分布どうしの近さや推定の性質を幾何学の言葉で記述する枠組みで、統計学 の推定や検定にも見通しを与えます。版元のプロフィールによれば、著者の専攻は数理工学 (神経回路網理論 / 情報幾何学) で、「神経情報処理の基礎理論の研究」により 1995 年に日本学士院賞を受けています。

前提知識と、向く読者 / 向かない読者

版元は初学者向けの入門書としていますが、確率分布や期待値、対数の計算には触れることになり、第 4 章以降は連続的な信号を扱うため積分に慣れていると読み進めやすくなります。一方で、圧縮や誤り訂正のアルゴリズムをプログラムとして実装する手順を求める人や、機械学習で使う数学だけを短期間で押さえたい人には目的が合いません。情報量やエントロピーという言葉を使いながら、その意味を自分の言葉で説明できないと感じている人にとって、通信の基本定理から情報幾何学の入り口までを文庫 1 冊で通して追える本書が向く入門書です。