通信の数学的理論

21 世紀に入ってさらなる広がりを見せる情報化社会への道は、クロード・シャノンが大戦直後に発表した一本の論文から始まったー本書はその「通信の数学的理論」に、ウィーバーの解説文を付して刊行されたものである。“ビット”による情報の単位の定義やエントロピーを用いた情報量の計算、さらには“情報源符号化定理”や“標本化定理”など、数々の画期的な洞察はまさに今日の情報通信を基礎付けるものであり、先端技術が当面する問題を解決するためのヒントにもなるだろう。「およそ“情報”を主題とするすべての研究分野に光明をもたらす」と評されるシャノンの不朽の研究が新訳で甦る。

『通信の数学的理論』は、クロード / E.シャノンが 1948 年、ベル研究所に在籍していたときに発表した論文「通信の数学的理論」の翻訳に、ワレン・ウィーバーの論考を併せて収めた文庫です。訳者は情報理論を専門とする植松友彦、版元は筑摩書房で、ちくま学芸文庫の一冊として 2009 年 8 月 10 日に刊行されました。原タイトルは The mathematical theory of communication です。版元はこの本に「情報理論のバイブル」という惹句を付け、情報理論の始まりとなった古典的論文が新訳で復刊されたものと紹介しています。

ウィーバーの論考とシャノンの論文 5 部の構成

版元の目次では、前半にウィーバーの論考が置かれ、後半にシャノンの論文が続きます。シャノンの論文は「離散的無雑音システム」「雑音のある離散的通信路」「連続情報」「連続通信路」「連続情報源のレート」の 5 部です。版元の内容紹介は、本書の読みどころとして、ビットによる情報の単位の定義、エントロピーを用いた情報量の計算、情報源符号化定理、標本化定理を挙げています。著者の紹介によれば、シャノンはこの論文で情報理論の基礎を確立し、1985 年に第 1 回京都賞を受けました。ウィーバーは 1932 年から 20 年以上にわたってロックフェラー財団の自然科学部長を務めた数学者です。

エントロピーと符号化定理が示す、通信の限界

シャノンの理論の要点は、情報を意味の側からではなく、起こりうる記号の確率の側から測ったことにあります。確率 p の出来事が起きたときの情報量を対数で表し、情報源が出す記号の情報量の平均をエントロピーと呼びます。対数の底を 2 に取ると単位がビットになり、表と裏が等しい確率で出る硬貨 1 枚の結果がちょうど 1 ビットです。情報源符号化定理は、ある情報源のデータを誤りなく圧縮するとき、1 記号あたりの平均の長さをエントロピーより短くはできないことを示します。ZIP のようなデータ圧縮も、1 記号あたりの平均の長さをこの定理が示すエントロピーより短くはできません。

雑音のある通信路についても、シャノンの理論は同じ発想で限界を与えます。どの通信路にも通信路容量という上限があり、送る速さがそれを下回っていれば、符号を工夫することで誤りの確率をいくらでも小さくできます。逆に容量を超える速さでは、どんな符号でも誤りを抑えきれません。誤り訂正符号の性能は、この容量を物差しにして比べられます。ネットワーク で送られるデータが、雑音の多い無線や長い電線を通っても正しく届く仕組みの理論上の上限は、ここで定められたものです。音声や電波のような連続した信号の通信路では、容量は帯域幅と信号対雑音比で決まります。

確率と対数が前提になる原典の性格

本書は論文の翻訳であり、教科書ではありません。版元の目次にあるのはウィーバーの論考とシャノンの論文の 2 本で、章末の演習問題やプログラムの実装例の章はありません。エントロピーは確率と対数で定義される量であり、論文の議論もこの 2 つの道具の上に組み立てられています。情報理論の定理を誤り訂正の符号の設計やデータ圧縮の実装に落とし込む手順は、本書の目次には含まれていません。

前半のウィーバーの論考と後半のシャノンの論文で、情報量、エントロピー、通信路容量という情報理論の基本の概念を、提唱者自身の論文の訳で確かめたい人に向けた、情報理論の古典を収めた文庫です。