パターン認識と機械学習 上

2006 年出版以来、amazon.com の人工知能部門で世界的トップセラーとなり、たちまち 4 刷となった英語版原著 Pattern Recognition and Machine Learning、待望の日本語版。5 名の監訳者のもと、選りすぐられた日本人研究者達 14 名によって丁寧に訳出。ベイズ理論に基づいた統一的な視点から、機械学習とパターン認識の様々な理論や手法を解説。

『パターン認識と機械学習 上』 (C. M. ビショップ 著、元田 浩、栗田 多喜夫、樋口 知之、松本 裕治、村田 昇 監訳、丸善出版、2012 年 1 月刊) は、原書 Pattern Recognition and Machine Learning の日本語版上巻で、機械学習とパターン認識のさまざまな理論や手法を、ベイズ理論に基づいた統一的な視点から解説する教科書です。副題はベイズ理論による統計的予測で、版元の紹介文によれば、5 名の監訳者のもとで日本人研究者 14 名が訳出しています。NDL の書誌では、原著は 2006 年に Springer から出版され、日本語版は 2007 年 12 月にシュプリンガー・ジャパンから出た同名書籍を丸善出版が再出版したものと記録されています。手法の使い方ではなく、モデルの仮定から導出までを数式で追いたい人のための本です。

上巻の全 5 章、序論からベイズニューラルネットワークまで

上巻は全 5 章と付録 5 本で構成されています。第 1 章 序論は多項式フィッティングの例から入り、確率論、モデル選択、次元の呪い、決定理論、情報理論と、本全体で使う考え方の土台を一章で揃えます。第 2 章 確率分布は二値変数と多値変数、ガウス分布、指数型分布族、ノンパラメトリック法を扱い、第 3 章 線形回帰モデルは線形基底関数モデルからバイアスとバリアンスの分解、ベイズ線形回帰、ベイズモデル比較、エビデンス近似へ進みます。第 4 章 線形識別モデルは識別関数と確率的生成モデル、確率的識別モデル、ラプラス近似、ベイズロジスティック回帰、第 5 章は誤差逆伝播やヘッセ行列、正則化、混合密度ネットワークを経てベイズ ニューラルネットワーク までを取り上げます。付録はデータ集合、確率分布の一覧、行列の性質、変分法、ラグランジュ乗数です。発展的な手法は下巻へ続くため、上巻は全体の基礎の部分にあたります。

パラメーターを分布として扱う、ベイズの視点の読みどころ

多くの入門書では、回帰や分類のパラメーターを誤差を最小にする 1 つの値として求めます。本書が軸に据えるベイズの視点では、パラメーターそのものに事前分布を置き、データを観測したあとの事後分布として扱います。こうすると、予測値だけでなく予測の不確かさも同じ枠組みで表せるようになり、正則化は事前分布の置き方の問題として、モデルの複雑さの選択はエビデンスの比較の問題として読み直せます。第 3 章がバイアスとバリアンスの分解を示したあとにベイズ線形回帰とベイズモデル比較、エビデンス近似を並べ、第 4 章と第 5 章でもラプラス近似やベイズロジスティック回帰、ベイズニューラルネットワークを扱っているのは、この見方を回帰から分類、多層のモデルへと順に広げていく並びと読めます。手法ごとに別々の公式を覚えるのではなく、共通の原理から個々の手法を導けるようになることが、この本を読み通す最大の見返りです。

線形代数と確率の前提、数式の密度への備え

数式の密度が高い本であり、行列の微分や固有値分解、多変数のガウス分布の計算、条件付き確率とベイズの定理を一通り扱えることが前提になります。付録に行列の性質や変分法、ラグランジュ乗数がまとめられているとはいえ、それらを初めて学ぶ場所としては簡潔です。学び直しが必要な場合は、機械学習に必要な数学の本 で範囲を絞ってから取り組むと、途中で止まる可能性を下げられます。また本書は数式による導出が中心で、特定のプログラミング言語やライブラリの使い方を解説する本ではないため、コードを書きながら学びたい人は、実装を中心にした本と組み合わせるほうが理解が進みます。

一方で、原著が 2006 年の出版であることから、深層学習の大規模なモデルや Transformer のような手法は範囲に含まれません。そうした分野を目的にする人や、まず手を動かして機械学習を試したい人は、機械学習とディープラーニングの本の選び方 から目的に合う一冊を先に選ぶのが近道です。

裏返せば、ライブラリで一通りの手法を試したあとに、その手法がどんな確率モデルを仮定し、なぜその式になるのかを根本から理解したい人や、機械学習の論文に出てくる事前分布や周辺尤度の議論を自力で追えるようになりたい人にとって、本書は時間をかけて読む価値のある基礎文献です。第 1 章の序論と第 2 章の確率分布を丁寧に押さえれば、その先の章で手法どうしがつながって見えるようになります。