統計的機械学習

『統計的機械学習』は、データがどのような確率分布から生まれたかをモデル化し、その分布を使って入力を分類する「生成モデルに基づくパターン認識」に焦点を絞った統計的機械学習の教科書です。著者は杉山 将、版元はオーム社 (TokyoTech Be-TEXT)、発売は 2009 年 9 月 26 日です。版元は本書を理工系大学の学部生に向けた統計的機械学習の入門書と紹介し、シリーズについては「東京工業大学の応用数理系基礎科目を、TokyoTech Be-TEXT として、本と Web コンテンツを融合して刊行」と案内しています。

全 13 章の構成、最尤推定からベイズ推定、密度推定へ

目次は 13 章です。1 章「パターン認識の基礎」と 2 章「準備」で土台を固め、3 章「識別関数の良さを測る規準」で分類の良し悪しを測る物差しを置きます。4 章から 8 章は最尤推定法の流れで、4 章「最尤推定法」、5 章「最尤推定法の理論的性質」、6 章「線形判別分析による手書き文字認識」、7 章「最尤推定法によるモデル選択」、8 章「混合ガウスモデルの最尤推定」と続きます。9 章から 11 章はベイズ推定法の流れで、9 章「ベイズ推定法」、10 章「ベイズ推定法の数値計算法」、11 章「ベイズ推定法におけるモデル選択」が並びます。最後の 12 章「カーネル密度推定法」と、近くのデータ点を手がかりにする密度推定法を章題に掲げた 13 章は、分布の形をあらかじめ決めずに推定する方法を扱います。推定の考え方を 2 系統に分け、どちらの系統でもモデル選択の章を設けている並びです。

生成モデルで分類を考えるという技術背景

機械学習 による分類には、境界線を直接学ぶ識別的な考え方と、クラスごとにデータの出方を確率分布として学ぶ生成的な考え方があります。後者では、クラスごとの確率密度とクラスの事前確率を推定し、ベイズの定理で入力がどのクラスに属するかの事後確率を求めて、最も確からしいクラスを選びます。このため中心の課題は確率密度をどう推定するかになります。正規分布のような形を仮定して母数を決めるのが最尤推定やベイズ推定で、前者は観測データの尤度を最大にする 1 つの値を、後者は母数そのものの分布を求めます。ベイズ推定は積分が解析的に解けない場面が多く、数値計算の工夫が欠かせません。混合ガウスモデルのように複数の分布を重ねたモデルでは、最尤推定の解を式で一度に書き下せないため、反復計算で解くのが一般的です。分布の形を仮定しない推定では、データ点の周りに山を置いて足し合わせる方法や、近くのデータ点の数から密度を見積もる方法が代表的です。いずれの手法でも、複雑なモデルほど手元のデータには合う一方で未知のデータには外れやすくなるため、統計学 の道具立てでモデルの複雑さを選ぶことが重要になります。

手書き文字データと数式に向き合う前提知識

版元のダウンロード欄では、本書で利用する手書きデータが提供され、数値計算ソフトウェアの Octave の公式サイトも案内されています。6 章の手書き文字認識のように、理論を具体的なデータで確かめる場面がある構成です。また版元は、本書を書籍版と電子版を融合した新しいタイプの教科書と説明しています。読み進めるうえでは、行列とベクトルの計算、確率分布と期待値、微分による最大化に慣れていることが前提になります。数式に不安がある段階なら、先に 機械学習に必要な数学を学ぶ本 で学び直しの範囲を決めてから取り組むと、推定法の章で足を止めずに済みます。

理工系の学生と若手技術者に向く読み方

版元は「このような方におすすめ」として、情報理工系の学生と院生の教科書や参考書、技術系企業の若手技術者の研修テキストを挙げ、読者の段は中級を示しています。目次には回帰や深層学習、サポートベクトルマシンを主題にした章は無く、2009 年刊の教科書として、確率モデルに基づく分類の基礎に範囲を絞っています。ライブラリの使い方や画像認識の実装を急いで身につけたい場合は、実装を主題にした本のほうが目的に合います。反対に、最尤推定とベイズ推定の違い、混合ガウスモデルや密度推定がどのような仮定で成り立つかを 1 冊で筋道立てて押さえたい学生や、研修で確率的な分類の基礎を固めたい技術者にとっては、講義の教科書として組まれた本書は手元に置いて繰り返し参照できる 1 冊です。