機械学習 3. 数学事項:機械学習のいしずえ／演習問題解答(キカイガクシュウサンスウガクジコウキカイガクシュウノイシズエエンシュウモンダイカイトウ)

本書は、古典機械学習ともよぶべき題材に的を絞り、考え方をできるだけ詳細に記述した教科書である。読者の便宜を考慮し、 500 頁にも及ぶ 1 冊を分冊化させ、 1 巻目では「入門的基礎／パラメトリックモデル」、 2 巻目では「ノンパラメトリックモデル／潜在モデル」、 3 巻目では「数学事項:機械学習のいしずえ／演習問題解答例」を掲載している。

本書では、機械学習全体の網羅や、深層学習を中心に据えた説明は意図していない。大量のデータが存在する対象、あるいはその近傍の対象に対しては、深層学習はきわめて高性能を発揮する。しかし、少数のデータしか得ることができない対象も多く、本書で紹介する古典的な機械学習の手法は、今後も随所で活躍するであろう。とりわけ、ベイズ的な考え方は、予測の損失最小を保証するという意味で重要である。多くの大学理工系の学部で、初年次あるいは 2 年次に学ぶ多変数の微積分や、固有値問題の基本をふくむ線形代数、それと確率と統計の基本事項は既知としているが、確率と統計や、対称行列に関する固有値問題などの数学的事項の要点は、第 5 部 (第 3 巻) としてまとめた。

本書は多くの優れた書籍を参照して書かれ、とりわけ、 C. M. ビショップ (著) ,『パターン認識と機械学習』の影響は随所にみられる。数学的記法も同書に準拠した。また、構成は、 K. P. Murphy, “ Probabilistic Machine Learning: An Introduction ”の影響をうけている。 Murphy の本では深層学習を 1 つの部としているが、本書では深層学習の部はもうけず、ニューラルネットワークの基礎的事項をパラメトリックモデルの部 (第 1 巻) へ、また、深層生成モデル (の 1 つである VAE) を潜在モデルの部 (第 2 巻) へおいた。ベイズ推論の重要性に鑑み、潜在モデルを第 4 部としたことは本書の特徴の 1 つである。

各章には演習問題、巻末には解答例と丁寧な解説を掲載 (解答例は第 3 巻に収録) 。
【第 V 部 数学事項:機械学習のいしずえ】

第 12 章 確率・統計ダイジェスト
12.1 確率
12.2 確率変数
12.3 ガウス分布 (正規分布)
12.4 サンプル
付記
演習問題

第 13 章 ガウス分布の性質
13.1 確率密度関数であること:1 次元
13.2 1 次元ガウス分布の期待値と分散
13.3 確率密度関数であること:多次元
13.4 多次元ガウス分布の期待値と分散
13.5 分割多次元ガウス分布
演習問題

第 14 章 行列,アドバンスト
14.1 行列,アラカルト
14.2 行列の微分
14.3 計画行列
14.4 実対称行列の固有値問題のまとめ

演習問題解答例

機械学習を学んでいると、論文や教科書の数式の壁にぶつかる場面が必ずやってきます。本書は共立出版の「機械学習」シリーズ第 3 巻として、機械学習の理論を読み解くために必要な数学的基盤を一冊にまとめたリファレンスです。線形代数、微積分、確率・統計、最適化といった各分野から、機械学習の文脈で繰り返し登場する定理や公式を抽出し、証明や直観的な解釈とともに提示しています。

位置づけとしては、機械学習のアルゴリズムそのものを解説する本ではなく、アルゴリズムを理解するための数学的な道具箱です。たとえば行列の固有値分解がなぜ主成分分析と結びつくのか、 KL ダイバージェンスが情報理論的にどういう意味を持つのかといった接続を、数学側から照射する構成になっています。著者の岡留剛氏は物理学をバックグラウンドに持つ研究者で、形式的な記述の正確さを保ちながらも文章で動機づけを与える姿勢が見られます。

読みこなすには大学教養レベルの数学 (線形代数の固有値まで、微分の偏微分まで、確率の期待値・分散まで) を一度履修していることが前提です。数学の教科書として最初に手に取る本ではありませんが、機械学習の書籍を読んでいて数式の飛躍が気になったとき、戻って確認できる参照先として手元に置く使い方が適しています。