機械学習 3. 数学事項: 機械学習のいしずえ / 演習問題解答

本書は、古典機械学習ともよぶべき題材に的を絞り、考え方をできるだけ詳細に記述した教科書である。読者の便宜を考慮し、500 頁にも及ぶ 1 冊を分冊化させ、1 巻目では「入門的基礎 / パラメトリックモデル」、2 巻目では「ノンパラメトリックモデル / 潜在モデル」、3 巻目では「数学事項: 機械学習のいしずえ / 演習問題解答例」を掲載している。

本書では、機械学習全体の網羅や、深層学習を中心に据えた説明は意図していない。大量のデータが存在する対象、あるいはその近傍の対象に対しては、深層学習はきわめて高性能を発揮する。しかし、少数のデータしか得ることができない対象も多く、本書で紹介する古典的な機械学習の手法は、今後も随所で活躍するであろう。とりわけ、ベイズ的な考え方は、予測の損失最小を保証するという意味で重要である。多くの大学理工系の学部で、初年次あるいは 2 年次に学ぶ多変数の微積分や、固有値問題の基本をふくむ線形代数、それと確率と統計の基本事項は既知としているが、確率と統計や、対称行列に関する固有値問題などの数学的事項の要点は、第 5 部 (第 3 巻) としてまとめた。

本書は多くの優れた書籍を参照して書かれ、とりわけ、C. M. ビショップ (著),『パターン認識と機械学習』の影響は随所にみられる。数学的記法も同書に準拠した。また、構成は、K. P. Murphy, “Probabilistic Machine Learning: An Introduction”の影響をうけている。Murphy の本では深層学習を 1 つの部としているが、本書では深層学習の部はもうけず、ニューラルネットワークの基礎的事項をパラメトリックモデルの部 (第 1 巻) へ、また、深層生成モデル (の 1 つである VAE) を潜在モデルの部 (第 2 巻) へおいた。ベイズ推論の重要性に鑑み、潜在モデルを第 4 部としたことは本書の特徴の 1 つである。

各章には演習問題、巻末には解答例と丁寧な解説を掲載 (解答例は第 3 巻に収録)。
【第 V 部 数学事項: 機械学習のいしずえ】

第 12 章 確率・統計ダイジェスト
12.1 確率
12.2 確率変数
12.3 ガウス分布 (正規分布)
12.4 サンプル
付記
演習問題

第 13 章 ガウス分布の性質
13.1 確率密度関数であること: 1 次元
13.2 1 次元ガウス分布の期待値と分散
13.3 確率密度関数であること: 多次元
13.4 多次元ガウス分布の期待値と分散
13.5 分割多次元ガウス分布
演習問題

第 14 章 行列, アドバンスト
14.1 行列, アラカルト
14.2 行列の微分
14.3 計画行列
14.4 実対称行列の固有値問題のまとめ

演習問題解答例

『機械学習 3. 数学事項: 機械学習のいしずえ / 演習問題解答』 (岡留 剛 著、共立出版、2022 年 8 月 26 日発売) は、古典的な 機械学習 の手法を詳しく記述した 3 分冊の教科書の第 3 巻です。版元の紹介によると、もともと 1 冊だった内容を読者の便宜のために分冊化したもので、第 1 巻が「入門的基礎 / パラメトリックモデル」、第 2 巻が「ノンパラメトリックモデル / 潜在モデル」、この第 3 巻が「数学事項: 機械学習のいしずえ」と演習問題解答例を受け持ちます。数学の独立した入門書というより、シリーズ本編を読み進めるための数学の要点と、全巻の演習問題の答え合わせを一冊に集めた巻です。

第 V 部の 3 章構成、確率 / 統計からガウス分布と行列へ

この巻に入っているのは第 V 部の 3 章と演習問題解答例です。第 12 章「確率・統計ダイジェスト」は確率、確率変数、ガウス分布 (正規分布)、サンプルの 4 節と付記、演習問題からなります。第 13 章「ガウス分布の性質」は、1 次元と多次元のそれぞれについて確率密度関数であることと期待値 / 分散を確かめ、最後に分割多次元ガウス分布を扱います。第 14 章「行列, アドバンスト」は行列のアラカルト、行列の微分、計画行列、実対称行列の固有値問題のまとめの 4 節です。版元の紹介文は、理工系の学部で 1、2 年次に学ぶ多変数の微積分、固有値問題の基本をふくむ線形代数、確率と統計の基本事項を既知としたうえで、その要点を第 V 部にまとめたと説明しています。微積分や線形代数を一から学ぶ巻ではないので、そこは別の教科書で先に押さえておく必要があります。

ガウス分布と行列の微分が機械学習の土台になる理由

古典的な機械学習、とりわけベイズ的な扱いでは、ガウス分布が繰り返し登場します。多次元ガウス分布は、変数を分割したときの周辺分布も条件付き分布もまたガウス分布になり、線形の変換に対しても形が保たれます。この性質があるから、ベイズ線形回帰の事後分布やガウス過程回帰の予測分布を式の上で閉じた形に書けます。第 13 章が分割多次元ガウス分布で終わる並びは、本編でこうした計算に出会ったときの参照先を意識したものと読めます。行列の微分は、二乗誤差を最小にする係数を求める場面や、共分散行列を含む尤度を最大化する場面で必要になり、計画行列はデータを行列にまとめて回帰の式を書くための道具です。実対称行列の固有値問題は、共分散行列を分解して主な変動の方向を取り出す計算の基礎にあたります。いずれも 統計学 と線形代数の交わるところで、本編の式変形が追えなくなる原因になりやすい部分です。

ビショップ準拠の記法と、全巻の演習問題解答例

版元の紹介によると、本書はビショップの『パターン認識と機械学習』の影響を随所に受け、数学的記法も同書に準拠しています。構成は Murphy の Probabilistic Machine Learning: An Introduction の影響を受けつつ、深層学習の部は設けず、ニューラルネットワークの基礎は第 1 巻、深層生成モデルの一つである VAE は第 2 巻に置いたとされます。記法がそろっているので、同書と並べて読む人にとっては式の読み替えの手間が少なく済みます。各章の演習問題の解答例は第 3 巻に収録すると明記されているため、第 1 巻や第 2 巻で演習に取り組む人には、この巻が答え合わせのために欠かせません。版元のページには、まえがきと詳細目次の PDF、正誤表、講義用のパワーポイント資料も掲げられています。

買う前に確かめたい点と、向いている読者

この巻だけで機械学習の手法を学べるわけではありません。パラメトリックモデルや潜在モデルそのものの解説は第 1 巻と第 2 巻にあり、この巻は数学の要点と解答例に絞られています。版元の著者ページには分冊の 3 冊とは別に、同じ書名の『機械学習』が 2022 年 12 月発売として並んでいるので、購入前に版元のページで収録範囲を確かめておくと取り違えを防げます。どこまで数学を学ぶかで本を選びたい段階なら、機械学習に必要な数学を 3 段階で整理したガイド が先の判断に役立ちます。第 1 巻と第 2 巻で古典的な機械学習を腰を据えて学び、ガウス分布や行列の計算で手が止まった箇所をその場で確かめ、演習の答えまで突き合わせたい人にとって、本編と記法のそろったこの巻は手元に置く意味の大きい一冊です。