パターン認識と機械学習 下

ベイズ理論に基づく統計的予測技術は、計算アルゴリズムの開発と計算機の性能向上により、近年、急速に進展してきた。本書は、このベイズ理論に基づいた統一的な視点から、機械学習とパターン認識の様々な理論や手法を解説した教科書。この下巻では上巻の基礎的な話題を発展させた様々な手法を扱う。まず、予測精度の高さで注目を集めたサポートベクトルマシンと、今や幅広い領域で使われているカーネル法を説明。次に高度な確率モデルを表現するベイジアンネットなどのグラフィカルモデルや、潜在変数を扱う EM アルゴリズムを紹介。その後、ベイズ理論の適用範囲を広げた変分ベイズ法と MCMC 法について触れ、次元削減や時系列の扱いといった話題を詳説。最後に複数のモデルを結合するブースティングなどの手法を説明。

『パターン認識と機械学習 下』は、C. M. ビショップによる機械学習とパターン認識の教科書を日本語に訳した 2 冊のうちの下巻で、副題はベイズ理論による統計的予測です。監訳は元田 浩、栗田 多喜夫、樋口 知之、松本 裕治、村田 昇の 5 名で、版元は丸善出版です。国立国会図書館の書誌によれば、原著は 2006 年に Springer から刊行され、日本語版は上巻が 2007 年 12 月、下巻が 2008 年 7 月にシュプリンガー・ジャパンから出版されたのち、丸善出版が 2012 年に同名の書籍として再出版しています。版元の紹介文は本書を、ベイズ理論に基づいた統一的な視点から機械学習とパターン認識の様々な理論や手法を解説した教科書と位置づけ、下巻については上巻の基礎的な話題を発展させた様々な手法を扱うと説明しています。

下巻の話題、サポートベクトルマシンからブースティングまで

版元の紹介文が挙げる話題の並びは次のとおりです。まずサポートベクトルマシンとカーネル法を説明し、次にベイジアンネットなどのグラフィカルモデルと、潜在変数を扱う EM アルゴリズムを紹介します。その後、ベイズ理論の適用範囲を広げた変分ベイズ法と MCMC 法に触れ、次元削減や時系列の扱いといった話題を詳しく述べ、最後にブースティングなどの複数のモデルを結合する手法を説明する流れです。識別器の設計から確率モデルの表現と推論、データの構造の取り出し、モデルの組み合わせまでが一冊に収まっています。紹介文の言う統一的な視点はベイズ理論に基づくもので、別々の本で語られることの多い手法を一つの枠組みの上で読める点が、この下巻の特徴です。

潜在変数と近似推論が難所になる理由

下巻の話題の多くに共通するのは、観測できない変数を含む確率モデルをどう扱うかという問題です。たとえば混合ガウス分布では、どのデータ点がどの成分から生じたかが観測されないため、尤度を直接最大化するのが難しくなります。EM アルゴリズムは、潜在変数の事後分布を求める段階とパラメーターを更新する段階を交互に繰り返して、この問題を解く方法です。ところがモデルが複雑になると、潜在変数の事後分布そのものが解析的に求まらなくなります。そこで、扱いやすい分布の族で事後分布を近似する変分法と、乱数を使って事後分布からサンプルを得る MCMC 法という、性格の違う 2 つの道具が必要になります。前者は計算が速い代わりに近似による偏りを抱え、後者は時間をかけるほど正確になる代わりに、いつ十分に収束したかの判断が難しいという一長一短の関係にあります。

カーネル法も、別の角度から同じ種類の難しさに向き合う技術です。特徴を明示的に高次元の空間へ写さずに、データどうしの内積に当たる量だけを計算して非線形な関係を扱うため、計算の工夫と理論の両方を理解していないと使いどころを誤ります。潜在変数と近似推論の考え方は、後に広がった 深層学習 の生成モデルを読むときにも土台になります。変分推論をニューラルネットワークと組み合わせた手法の論文は、事後分布の近似や下界の最大化といった概念を説明抜きで使うことが多く、その前提を体系立てて学べる場として本書の話題の範囲は役に立ちます。ただし本書は 2006 年の原著に基づく教科書であり、それ以後に現れた手法そのものは扱っていない点を踏まえて読む必要があります。

確率と線形代数の前提知識、上巻と類書との使い分け

紹介文のとおり下巻は上巻の基礎的な話題を発展させる位置づけなので、上巻の内容を前提に読むのが自然です。加えて、確率分布の計算、行列とベクトルの操作、微分や積分を使った式変形を自分の手で追えることが求められます。数式の運用に不安がある場合は、機械学習に必要な数学を学ぶ本 で範囲を絞って準備してから取りかかると、途中で止まる回数を減らせます。

一方で、ライブラリの使い方を手早く覚えて業務に適用したい人には、本書は目的が合いません。紹介文が示すとおり理論や手法を解説した教科書であり、実装の手順を中心に学びたい段階なら、実践寄りの機械学習の技術書 から入るほうが早く成果につながります。

裏返せば、論文に出てくる確率モデルの式を自分で読み解けるようになりたい人、識別器から生成モデルまでを一つの理屈でつなげて理解したい研究や開発の担当者にとって、本書は長く手元に置いて引き直せる一冊です。上巻を終えた段階で、関心のある話題から一つずつ式を追っていけば、手法ごとにばらばらだった知識が確率の言葉でつながっていきます。