情報理論とデジタル表現

情報科学の基礎として、情報を数理的に取り扱う理論とデジタル表現に変換する方法を学ぶ。まず、情報を量的に取り扱うことのできるシャノンの情報理論に基づき、情報量やエントロピーなど情報の数理的扱いを学ぶ。次に、デジタル情報一般について、圧縮したり、誤りを検出・訂正したり、情報を暗号化したりする方法を学ぶ。そして、さまざまな形態の情報が、その特性に応じてどのような方式でデジタル情報として処理されているかを解説する。
1.デジタル情報処理 2.数の符号化 3.情報理論のための数学 1-対数・行列・剰余演算ー 4.情報理論のための数学 2-確率論の基礎ー 5.情報量 6.エントロピー 7.ベイズの定理 8.通信のモデル 9.情報の圧縮 10.誤り検出と誤り訂正 11.テキストの符号化 12.音の符号化 13.画像の符号化 14.動画の符号化 15.暗号

『情報理論とデジタル表現』 (加藤 浩、浅井 紀久夫 著、放送大学教育振興会、2019 年 3 月 20 日発売) は、放送大学教材のシリーズの 1 冊で、情報科学 の基礎として、情報を数理的に取り扱う理論と、情報をデジタル表現に変換する方法を学ぶ教科書です。版元の紹介文によると、まずシャノンの情報理論に基づいて情報量やエントロピーなど情報の数理的な扱いを学び、次にデジタル情報一般を圧縮したり、誤りを検出して訂正したり、暗号化したりする方法を学びます。そのうえで、さまざまな形態の情報が、その特性に応じてどのような方式でデジタル情報として処理されているかを解説する構成です。

デジタル情報処理から暗号まで、15 項目の目次

目次は番号付きの 15 項目で、1「デジタル情報処理」と 2「数の符号化」に始まり、3「情報理論のための数学 1－対数・行列・剰余演算－」と 4「情報理論のための数学 2－確率論の基礎－」が数学の準備に当てられています。続いて 5「情報量」、6「エントロピー」、7「ベイズの定理」、8「通信のモデル」と理論の項目が並び、9「情報の圧縮」と 10「誤り検出と誤り訂正」のあと、11「テキストの符号化」、12「音の符号化」、13「画像の符号化」、14「動画の符号化」と情報の形態ごとの項目が続き、15「暗号」で終わります。

情報量とエントロピーから圧縮と誤り訂正へ

シャノンの情報理論では、確率 p で起きる出来事の情報量を、2 を底とする対数を使って -log p ビットと定めます。起きる確率の低い出来事の情報量は大きくなり、情報源が出す記号の情報量の平均がエントロピーです。エントロピーは、情報を失わずに圧縮した時の 1 記号あたりの平均の符号の長さの下限を与え、出現しやすい記号に短い符号を割り当てるハフマン符号は、この下限に近い長さを実現する方法の 1 つです。雑音のある通信路では反対に、送る情報に冗長なビットを足して、受け取った側が誤りを見つけたり直したりできるようにします。パリティ検査やハミング符号のような線形の符号は行列の演算で表され、巡回冗長検査は多項式の剰余を使います。受信した記号から送られた記号を推し量る考え方は、条件付き確率を入れ替えるベイズの定理と結び付きます。

テキスト、音、画像、動画の符号化と暗号の背景

テキストの符号化の土台は文字コードで、Unicode は世界中の文字に番号を割り当て、UTF-8 はその番号を 1 から 4 バイトの可変長で表します。音は、連続した波形を一定の間隔で読み取る標本化と、読み取った値をとびとびの数値に丸める量子化によってデジタルの数列になり、元の信号を復元するには、含まれる最も高い周波数の 2 倍を超える頻度で標本化します。画像や動画では、人の目に気付かれにくい情報を落とす非可逆の圧縮が広く使われ、動画ではさらに前後のフレームの差分を使ってデータ量を減らします。暗号化 には、送る側と受け取る側が同じ鍵を使う共通鍵暗号と、公開してよい鍵と秘密の鍵を組で使う公開鍵暗号があり、公開鍵暗号の代表である RSA は剰余演算の上に組み立てられています。

本書は、シャノンの情報理論による情報の量的な扱いから、圧縮、誤りの検出と訂正、暗号化、テキストや音、画像、動画のデジタル処理の方式までを、放送大学教材の 1 冊に収めています。