シャノンの情報理論入門

情報は、なぜディジタル化できるのだろうか? 現代の巨大な情報社会を支える情報科学の基礎はシャノンによって作られた。形のない情報をどのように表現し、情報の価値をどのように表すのか? シャノンの築いた情報理論を分かりやすく解説する。 (ブルーバックス・2012 年 12 月刊)

情報とはなにか? どのように量るのか? 情報エントロピーとは? 圧縮とはなにか?
高校生でも分かる、シャノン情報理論の入門書

情報は、なぜディジタル化できるのだろうか?
現代の巨大な情報社会を支える情報科学の基礎はシャノンによって作られた。
形のない情報をどのように表現し、情報の価値をどのように表すのか?
シャノンの築いた情報理論を分かりやすく解説する。
まえがき
目次
第 1 章 情報科学の歴史
第 2 章 情報とはなにか
第 3 章 情報の価値?
第 4 章 通信量を減らす?: 情報源符号化定理
第 5 章 伝言ゲームでは困る──誤りを減らす
第 6 章 情報科学の歴史の中の情報理論
あとがき
参考文献
さくいん

情報を量るとはどういうことか、という問いから情報理論の骨格を組み立てる新書です。『シャノンの情報理論入門』 (高岡 詠子 著、講談社 (ブルーバックス)、2012 年 12 月 21 日発売) は、副題に「価値ある情報を高速に、正確に送る」を掲げ、シャノンが築いた情報理論を分かりやすく解説する一冊として版元が案内しています。紹介文は本書を「高校生でも分かる、シャノン情報理論の入門書」と位置づけ、情報とは何か、どう量るのか、情報エントロピーとは何か、圧縮とは何かという問いを入口に並べています。数式の教科書を開く前に、情報理論がそもそも何を測ろうとしている学問なのかをつかみたい人に向けた本です。

情報科学の歴史で始まり歴史で閉じる全 6 章

目次は 6 章で、前後にまえがきとあとがき、巻末に参考文献とさくいんが付きます。第 1 章「情報科学の歴史」で始まり、第 2 章「情報とはなにか」と第 3 章「情報の価値?」が続きます。形のない情報をどう表現し、その価値をどう表すのかという紹介文の問いに当たる章題です。続く第 4 章は「通信量を減らす?: 情報源符号化定理」、第 5 章は「伝言ゲームでは困る──誤りを減らす」です。最後は第 6 章「情報科学の歴史の中の情報理論」で、冒頭の第 1 章と同じく歴史を扱う章で閉じる構成です。

情報量とエントロピー、2 つの符号化定理の背景

情報理論の出発点は、起こりにくい出来事ほど知らされたときの意外さが大きい、という直感を数に置き換えることです。確率 p の出来事が起きたと知ったときの情報量を −log2 p と定めると、確率 1/2 の出来事は 1 ビット、1/8 の出来事は 3 ビットになり、独立な出来事の情報量は足し算で扱えます。この情報量を確率で平均したものがエントロピーで、情報源が 1 記号あたり平均で何ビットの情報を出すかを表します。シャノンが 1948 年の論文で示した情報源符号化定理は、どれほど巧みに符号を設計しても 1 記号あたりの平均符号長はエントロピーを下回れず、しかもエントロピーにいくらでも近づけられることを述べます。可逆圧縮でファイルをいくらでも小さくはできない理由は、この定理で説明できます。もう一方の柱である通信路符号化定理は、雑音のある通信路でも、送る速さが通信路容量を下回っていれば、符号を工夫して誤りの確率をいくらでも小さくできることを保証します。情報理論は、計算の理論と並んで コンピューターサイエンス を支える柱の一つで、データ圧縮、通信、記録媒体の誤り訂正はどれもこの 2 つの定理の上に設計されています。

数式の前に考え方をつかみたい読者に向く理由

版元は本書を、高校生でも分かる入門書と打ち出しています。情報系の学生が講義で情報理論に出会う前の一冊として、また圧縮や誤り訂正の仕組みを日々の業務で使っていながら、その理屈を一度も整理したことがないエンジニアの読み物として合います。逆に、定理の厳密な証明や、誤り訂正符号を設計するための代数を体系的に扱う章は、目次にありません。

本書は、情報量やエントロピーという言葉を聞いたことはあっても、なぜ対数が出てくるのか、なぜ圧縮に限界があるのかを自分の言葉で説明できない人に向けて、その考え方を新書 1 冊の分量で解説します。第 4 章は情報源符号化定理を、第 5 章は誤りを減らす話を章題に掲げています。