情報量(ジョウホウリョウ)

「情報の量を測る」という一見つかみどころのない発想は、データ圧縮や通信の理論から機械学習の損失関数に至るまで、情報技術の広い範囲を根底で支えています。この体系が情報理論で、 20 世紀半ばのクロード・シャノンの仕事に端を発します。 2019 年 3 月にコロナ社から刊行された本書は、山本宙氏がその中心概念である「情報量」を書名に掲げ、サブタイトルのとおり情報理論への招待として書かれました。

情報量という概念の面白さは、直観の数式化にあります。めったに起きない出来事を知らされたときほど得るものが大きい。この感覚を確率に基づいて定量化するとエントロピーをはじめとする一連の量が導かれ、そこから「データはどこまで縮められるか」「雑音のある通信路でどれだけ確実に送れるか」という問いに理論的な限界が与えられます。応用の場面では公式として済ませがちなこれらの量を、導入から順に押さえ直せるのが、この分野の入門書を読む意義です。

読者としては、情報系・通信系で学ぶ学生のほか、機械学習の勉強で交差エントロピーや KL 情報量に出会い、その意味を腹落ちさせたい実務者が挙げられます。確率の初歩を使う分野なので、そこの復習を厭わないことが実質的な前提です。公式の暗記が意味の理解に変わっていく感覚は、情報理論の入門でしか味わえない種類の手応えです。