機械学習 2. ノンパラメトリックモデル / 潜在モデル

本書は、古典機械学習ともよぶべき題材に的を絞り、考え方をできるだけ詳細に記述した教科書である。読者の便宜を考慮し、500 頁にも及ぶ 1 冊を分冊化させ、1 巻目では「入門的基礎 / パラメトリックモデル」、2 巻目では「ノンパラメトリックモデル / 潜在モデル」、3 巻目では「数学事項: 機械学習のいしずえ / 演習問題解答例」を掲載している。

本書では、機械学習全体の網羅や、深層学習を中心に据えた説明は意図していない。大量のデータが存在する対象、あるいはその近傍の対象に対しては、深層学習はきわめて高性能を発揮する。しかし、少数のデータしか得ることができない対象も多く、本書で紹介する古典的な機械学習の手法は、今後も随所で活躍するであろう。とりわけ、ベイズ的な考え方は、予測の損失最小を保証するという意味で重要である。多くの大学理工系の学部で、初年次あるいは 2 年次に学ぶ多変数の微積分や、固有値問題の基本をふくむ線形代数、それと確率と統計の基本事項は既知としているが、確率と統計や、対称行列に関する固有値問題などの数学的事項の要点は、第 5 部 (第 3 巻) としてまとめた。

本書は多くの優れた書籍を参照して書かれ、とりわけ、C. M. ビショップ (著),『パターン認識と機械学習』の影響は随所にみられる。数学的記法も同書に準拠した。また、構成は、K. P. Murphy, “Probabilistic Machine Learning: An Introduction”の影響をうけている。Murphy の本では深層学習を 1 つの部としているが、本書では深層学習の部はもうけず、ニューラルネットワークの基礎的事項をパラメトリックモデルの部 (第 1 巻) へ、また、深層生成モデル (の 1 つである VAE) を潜在モデルの部 (第 2 巻) へおいた。ベイズ推論の重要性に鑑み、潜在モデルを第 4 部としたことは本書の特徴の 1 つである。

各章には演習問題、巻末には解答例と丁寧な解説を掲載 (解答例は第 3 巻に収録)。
【第 III 部 ノンパラメトリックモデル】

第 6 章 訓練データ保持型の学習
6.1 はじめに
6.2 確率密度関数の推定: ノンパラメトリック
6.3 Nadaraya-Watson モデル
6.4 k 近傍法
演習問題

第 7 章 カーネル法
7.1 はじめに
7.2 カーネル関数
7.3 ガウス過程
7.4 サポートベクトルマシン
演習問題

第 8 章 アンサンブル学習
8.1 はじめに
8.2 バギング
8.3 ランダムフォレスト
8.4 アンサンブル学習の期待損失
演習問題

【第 IV 部 潜在モデル】

第 9 章 次元圧縮
9.1 はじめに
9.2 主成分分析
9.3 t-SNE:t 分布確率的近傍埋めこみ
演習問題

第 10 章 混合ガウス分布と EM アルゴリズム
10.1 はじめに
10.2 混合ガウス分布
10.3 潜在変数
10.4 EM アルゴリズム
10.5 混合ガウス分布のパラメータ推定
10.6 EM アルゴリズムの適用性と収束性
演習問題

第 11 章 深層生成モデル
11.1 はじめに
11.2 自己符号化器
11.3 変分自己符号化器
演習問題

『機械学習 2 ノンパラメトリックモデル / 潜在モデル』 (岡留 剛 著、共立出版、2022 年 8 月 26 日発売) は、版元が「古典機械学習ともよぶべき題材」と呼ぶ手法に的を絞り、その考え方をできるだけ詳しく記述した教科書の第 2 巻です。もとは 1 冊だった原稿を読者の便宜のために 3 分冊にしたもので、第 1 巻が「入門的基礎 / パラメトリックモデル」、本書が「ノンパラメトリックモデル / 潜在モデル」、第 3 巻が「数学事項: 機械学習のいしずえ / 演習問題解答例」を受け持ちます。カーネル法やアンサンブル学習、EM アルゴリズム、変分自己符号化器が「なぜそう動くのか」を、式の上で納得したい学生や技術者に向いた一冊です。

第 III 部と第 IV 部、k 近傍法から変分自己符号化器まで

章番号は第 1 巻から続いており、本書は第 6 章から第 11 章までの 6 章を収めます。第 III 部「ノンパラメトリックモデル」は、第 6 章「訓練データ保持型の学習」で確率密度関数のノンパラメトリックな推定、Nadaraya-Watson モデル、k 近傍法を扱い、第 7 章「カーネル法」でカーネル関数、ガウス過程、サポートベクトルマシンへ進み、第 8 章「アンサンブル学習」でバギング、ランダムフォレスト、アンサンブル学習の期待損失を取り上げます。第 IV 部「潜在モデル」は、第 9 章「次元圧縮」の主成分分析と t-SNE、第 10 章「混合ガウス分布と EM アルゴリズム」の潜在変数と EM アルゴリズムの適用性と収束性、第 11 章「深層生成モデル」の自己符号化器と変分自己符号化器という並びです。どの章にも演習問題が付き、解答例と解説は第 3 巻にまとめられています。

データを持ち続ける手法と、潜在変数で説明する手法

ノンパラメトリックという語は「パラメータが無い」という意味ではなく、モデルの自由度があらかじめ決めた個数のパラメーターに縛られず、訓練データの量に応じて表現力が増えていくという意味で使われます。k 近傍法や Nadaraya-Watson モデルは予測のたびに訓練データそのものを参照し、ガウス過程は関数そのものの上に確率分布を置いて、観測点どうしの近さをカーネル関数で測ります。サポートベクトルマシンも、カーネル関数を通じて高次元の特徴空間での内積だけを計算するという同じ発想の上にあります。一方の潜在モデルは、観測されない変数を仮定してデータの生成過程を説明する考え方で、混合ガウス分布ではどの成分から生まれたかが潜在変数にあたります。EM アルゴリズムは、その潜在変数の事後分布を求める段と、パラメーターを更新する段を交互に繰り返して尤度を高めていく方法です。変分自己符号化器は、この潜在変数の推論を ニューラルネットワーク で近似する形に置き換えたもので、版元の紹介によれば本書は深層生成モデルの 1 つである VAE を潜在モデルの部に置いています。ベイズ推論の重要性から潜在モデルを独立した部にしたことを、版元は本書の特徴の 1 つに挙げています。

前提となる数学と、第 1 巻 / 第 3 巻との組み合わせ

版元は、多くの大学理工系の学部で初年次から 2 年次に学ぶ多変数の微積分、固有値問題の基本を含む線形代数、確率と統計の基本事項を既知としています。確率と統計や対称行列の固有値問題といった数学的事項の要点は第 V 部として第 3 巻にまとめられているため、式の途中で手が止まる人は第 3 巻を横に置いて読むことになります。数学的記法は C. M. ビショップの『パターン認識と機械学習』に準拠し、構成は K. P. Murphy の “Probabilistic Machine Learning: An Introduction” の影響を受けていると版元は説明しています。ビショップの本の記法に慣れた人なら、日本語で同じ記号のまま理解を補強できます。ニューラルネットワークの基礎的事項はパラメトリックモデルの部として第 1 巻に置かれているので、第 11 章を読む前に第 1 巻の該当部分を押さえておくと流れがつながります。

深層学習の網羅を求める人には向かない理由と、選ぶべき読者

版元は、機械学習全体の網羅や深層学習を中心に据えた説明は本書の意図ではないと明記しています。大量のデータがある対象では深層学習が高い性能を発揮する一方で、少数のデータしか得られない対象も多いというのが、古典的な手法に紙面を割く理由です。目次と紹介文にはプログラミング言語やライブラリの名前が出てこないため、コードを動かしながら手法を試す本を探している場合は、実装を主題にした本と組み合わせるほうが目的に合います。scikit-learn などで 機械学習 の手法を使ったことはあるものの、ハイパーパラメーターの意味や手法の限界を式から説明できるようになりたい人、少ないデータで確かな推定をしたい研究や業務に携わる人にとって、本書の 6 章は手元に置く価値のある参照先になります。数学の学び直しの範囲を先に決めたい場合は 機械学習に必要な数学の本ガイド で段階を確かめてから、第 1 巻と第 3 巻を含めた 3 冊のそろえ方を決めると無駄がありません。