パターン認識と機械学習 下(パターンニンシキトキカイガクシュウゲ)

ベイズ理論に基づく統計的予測技術は、計算アルゴリズムの開発と計算機の性能向上により、近年、急速に進展してきた。本書は、このベイズ理論に基づいた統一的な視点から、機械学習とパターン認識の様々な理論や手法を解説した教科書。この下巻では上巻の基礎的な話題を発展させた様々な手法を扱う。まず、予測精度の高さで注目を集めたサポートベクトルマシンと、今や幅広い領域で使われているカーネル法を説明。次に高度な確率モデルを表現するベイジアンネットなどのグラフィカルモデルや、潜在変数を扱う EM アルゴリズムを紹介。その後、ベイズ理論の適用範囲を広げた変分ベイズ法と MCMC 法について触れ、次元削減や時系列の扱いといった話題を詳説。最後に複数のモデルを結合するブースティングなどの手法を説明。

上巻が確率分布・線形モデル・ニューラルネットワークの基礎を築いたのに対し、下巻はその道具立てを使って、より構造の複雑な問題に踏み込みます。カーネル法、混合モデルと EM アルゴリズム、変分推論、サンプリング法 (MCMC) 、そして連続潜在変数のモデルやグラフィカルモデルの推論が主題です。ベイズ的なアプローチを軸に、「観測データの背後にある隠れた構造をどう推定するか」を一貫した視点で展開します。

難易度は上巻よりさらに上がります。特に変分推論や MCMC の章は数式の導出が密で、通読には上巻で培ったベイズ推論の感覚と線形代数・微積分の運用力が求められます。大学院レベルのテキストとして位置づけるのが適切です。

それでもこの下巻が長く参照されるのは、ここで扱われるトピックが機械学習研究の基盤になっているからです。混合ガウスモデルの EM 、変分オートエンコーダの理論的根拠、ガウス過程回帰など、論文を読む際に「出典は Bishop 」として引かれる記述が集中しています。読み通すのは容易ではありませんが、一度消化すれば機械学習の論文が格段に読みやすくなる種類の投資です。