機械学習 1. 入門的基礎 / パラメトリックモデル

本書は、古典機械学習ともよぶべき題材に的を絞り、考え方をできるだけ詳細に記述した教科書である。読者の便宜を考慮し、500 頁にも及ぶ 1 冊を分冊化させ、1 巻目では「入門的基礎 / パラメトリックモデル」、2 巻目では「ノンパラメトリックモデル / 潜在モデル」、3 巻目では「数学事項: 機械学習のいしずえ / 演習問題解答例」を掲載している。

本書では、機械学習全体の網羅や、深層学習を中心に据えた説明は意図していない。大量のデータが存在する対象、あるいはその近傍の対象に対しては、深層学習はきわめて高性能を発揮する。しかし、少数のデータしか得ることができない対象も多く、本書で紹介する古典的な機械学習の手法は、今後も随所で活躍するであろう。とりわけ、ベイズ的な考え方は、予測の損失最小を保証するという意味で重要である。多くの大学理工系の学部で、初年次あるいは 2 年次に学ぶ多変数の微積分や、固有値問題の基本をふくむ線形代数、それと確率と統計の基本事項は既知としているが、確率と統計や、対称行列に関する固有値問題などの数学的事項の要点は、第 5 部 (第 3 巻) としてまとめた。

本書は多くの優れた書籍を参照して書かれ、とりわけ、C. M. ビショップ (著),『パターン認識と機械学習』の影響は随所にみられる。数学的記法も同書に準拠した。また、構成は、K. P. Murphy, “Probabilistic Machine Learning: An Introduction”の影響をうけている。Murphy の本では深層学習を 1 つの部としているが、本書では深層学習の部はもうけず、ニューラルネットワークの基礎的事項をパラメトリックモデルの部 (第 1 巻) へ、また、深層生成モデル (の 1 つである VAE) を潜在モデルの部 (第 2 巻) へおいた。ベイズ推論の重要性に鑑み、潜在モデルを第 4 部としたことは本書の特徴の 1 つである。

各章には演習問題、巻末には解答例と丁寧な解説を掲載 (解答例は第 3 巻に収録)。

深層学習を中心に据えず、古典機械学習ともよぶべき題材に的を絞って、考え方をできるだけ詳しく記述した 3 分冊の教科書の第 1 巻です。著者は岡留剛、版元は共立出版で、2022 年 8 月に刊行されました。版元の紹介文によると、1 冊にまとめると大部になる内容を読者の便宜のために分冊化したもので、第 1 巻が入門的基礎とパラメトリックモデル、第 2 巻がノンパラメトリックモデルと潜在モデル、第 3 巻が数学事項と演習問題の解答例を受け持ちます。ライブラリの操作ではなく、予測の手法がどんな確率モデルと推定の考え方の上に立っているのかを、式で理解したい人に向けた一冊です。

2 部 5 章の構成、確率の導入からニューラルネットワークまで

本巻は 2 部 5 章です。第 I 部「入門的基礎」の第 1 章「機械学習入門」は、データをもとにした予測モデル、確率の導入、パラメーターの推定、損失と誤差関数、決定理論、評価指標を順に扱います。第 II 部「パラメトリックモデル」は、第 2 章「確率密度関数の推定: パラメトリック」で最尤推定とベイズ推定による密度推定を扱い、第 3 章「線形回帰」ではベイズ統計による線形回帰、ベイズモデル比較、エビデンス近似へ進みます。第 4 章「一般化線形モデルによる分類」は、識別関数、確率的識別モデル、確率的生成モデルのそれぞれによる 2 クラス分類と多クラス分類を扱い、第 5 章「ニューラルネットワーク: 非線形パラメトリックモデル」は 3 層パーセプトロン、たたみこみニューラルネットワーク、学習の促進で締めくくります。第 1 章から第 5 章のどの章にも演習問題があり、解答例は第 3 巻に収録されています。第 II 部の付録としてガンマ関数と行列の要点が付きます。

PRML の記法に準拠し、Murphy の構成を下敷きにした教科書

版元の紹介文は、C. M. ビショップの『パターン認識と機械学習』の影響が随所にみられ、数学的記法も同書に準拠したと明記しています。構成は K. P. Murphy の Probabilistic Machine Learning: An Introduction の影響を受けていますが、深層学習の部は設けず、ニューラルネットワークの基礎的事項を本巻のパラメトリックモデルの部に、深層生成モデルの 1 つである VAE を第 2 巻の潜在モデルの部に置いたとされています。記法が PRML と同じなので、PRML を手元に置いている人は、本書と行き来しながら同じ記号で読み進められます。

少ないデータでベイズの考え方が効く理由

版元の紹介文は、大量のデータがある対象では深層学習がきわめて高性能を発揮する一方で、少数のデータしか得られない対象も多く、古典的な機械学習の手法は今後も随所で活躍すると見込んでいます。データが少ないとき、最尤推定のようにデータに最も合うパラメーターを 1 組だけ選ぶ方法は、手元の偶然のばらつきまで拾って過学習を起こしやすくなります。ベイズ推定は、パラメーターに事前分布を置き、データを見た後の事後分布全体で予測を組み立てるため、不確かさを予測にそのまま反映できます。さらにエビデンス近似を使えば、モデルの複雑さや正則化の強さをデータから選ぶ道も開けます。最尤推定とベイズ推定を密度推定、回帰、分類の順に同じ枠組みで対比していく本巻の並びは、この考え方の違いを繰り返し確かめられる構成です。

前提となる数学と、向く読者と向かない読者

版元は、大学の理工系学部の初年次から 2 年次に学ぶ多変数の微積分、固有値問題の基本を含む線形代数、確率と統計の基本事項を既知としており、そのうえで確率と統計や対称行列の固有値問題などの要点を第 3 巻にまとめています。この前提に不安がある場合は、機械学習に必要な数学の本の選び方 を参考に、先に学び直す範囲を絞っておくと進みやすくなります。一方で、版元は機械学習全体の網羅や深層学習を中心にした説明を意図していないと明記しており、目次にもプログラミング言語やライブラリの名を掲げた章や節はありません。深層学習の最前線や実装の手順を学びたい人は、機械学習とディープラーニングの本の選び方 から目的に合う本を選ぶ方が近道です。

反対に、手法の名前と使い方は知っているものの、その裏にある確率モデルと推定の考え方を式で説明できるようになりたいエンジニアや、PRML と同じ記法で古典的な機械学習を体系的に学びたい学生にとって、演習問題で理解を確かめながら進める本巻は、3 分冊を読み通すための確かな入口になります。