統計的機械学習の数理 100 問 with Python(トウケイテキキカイガクシュウノスウリヒャクモンウィズパイソン)

機械学習の書籍としておびただしい数の書籍が出版されているが,ななめ読みで終わる,もしくは難しすぎて読めないものが多く,「身につける」という視点で書かれたものは非常に少ないと言ってよい。本書は,100 の問題を解くという演習のスタイルをとりながら,数式を導き,Python のソースプログラムを追い,具体的に手を動かしてみて,読者が自分のスキルにしていくことを目的としている。
本書は各章で解説のあとに問題を掲載している。解説を読んでから問題を解くこともできるが,まず問題から取り組む読み方もできる。その場合,数学の問題において導出の細部がわからなくても,解説に戻ればわかるようになっている。
「機械学習の数理 100 問」は,2018 年後期と 2019 年後期の大阪大学基礎工学部情報科学科数理科学コース 3 年の講義でも使われ,また公開講座「機械学習・データ科学スプリングキャンプ」 2018, 2019 でも多くの参加者に解かれ,高い評価を得ている。また,その間に改良を重ねている。問題をすべて独力で解くのは,大学院生か学部の上位 10%程度,もしくはその分野の研究開発に携わっていないと難しいかもしれないが,解説を読むだけでも十分な意味がある。
なお,本書は"Elements of Statistical Learning" (邦訳は共立出版『統計的学習の基礎』) や"Introduction to Statistical Learning with R" (邦訳は朝倉書店『 R による統計的学習入門』) といった,統計的機械学習の世界的ベストセラーに準拠していて,レベル的にそれらの中間的なものになっている。前者は事典に近く,読者が何かを身につけるために書かれた書籍ではない。後者は初心者を対象として,感覚的な理解を促してパッケージを使わせることに終始し,本質に近づく視点が欠如していると言わざるを得ない。
本書を読むことで,機械学習に関する知識が得られることはもちろんだが,脳裏に数学的ロジックを構築し,プログラムを構成して具体的に検証していくという,データサイエンス業界で活躍するための資質が得られる。本書は「数理」「情報」「データ」といった人工知能時代を勝ち抜くために必須のスキルを身につけるための,うってつけの書籍である。

機械学習の本は、ライブラリの使い方を追う実装本と、証明が続く理論書とに分かれがちで、数式を自分で導いてからコードで確かめるという中間の訓練を積める本は限られます。『統計的機械学習の数理 100 問 with Python 』 (鈴木讓 著、共立出版、 2020 年 4 月刊) は、共立出版の機械学習の数理 100 問シリーズの第 2 巻として、線形回帰から教師なし学習までの統計的機械学習の基本手法を 100 問の演習に組み、数式の導出と Python のソースプログラムの両方を手で追うことで身につけさせる演習書です。問題は、著者が大阪大学基礎工学部の講義と公開講座で 2018 年と 2019 年に使い、その間に改良を重ねてきたものです。

第 0 章 線形代数から第 9 章 教師なし学習までの構成

構成は第 0 章から第 9 章までの 10 章です。第 0 章は逆行列、行列式、固有値と固有ベクトル、対称行列の対角化といった線形代数の復習に当てられ、問題は第 1 章から始まります。第 1 章 線形回帰 (最小二乗法、推定量の分布、仮説検定、信頼区間と予測区間) 、第 2 章 分類 (ロジスティック回帰、線形判別と二次判別、 ROC 曲線) 、第 3 章 リサンプリング (クロスバリデーション、ブートストラップ) 、第 4 章 情報量基準 (Fisher 情報量行列、 Kullback-Leibler 情報量、 AIC の導出) 、第 5 章 正則化 (Ridge 、劣微分、 Lasso) 、第 6 章 非線形回帰 (スプライン回帰、局所回帰、一般化加法モデル) 、第 7 章 決定木 (バギング、ランダムフォレスト、ブースティング) 、第 8 章 サポートベクトルマシン (最適化の理論、カーネルによる拡張) 、第 9 章 教師なし学習 (K-means 、階層的クラスタリング、主成分分析) と進み、問題 1 から問題 100 が各章の末尾に配置されています。各章は解説の後に問題を置く形で、解説を読んでから解くことも、問題から取り組んで詰まったところで解説に戻ることもできます。多くの章には命題の証明をまとめた付録が付きます。

数式の導出と Python 実装を往復させる訓練の意味

統計的機械学習の手法は、最小二乗法の解が正規方程式から出ること、 Lasso の解が劣微分を通じて閾値処理の形になること、サポートベクトルマシンが双対問題を解きカーネルで拡張できることのように、数学的な導出がそのままアルゴリズムの形を決めています。ライブラリの呼び出しだけを覚えると、正則化パラメータやカーネルの選択がなぜ結果を変えるのかを説明できず、不具合の切り分けや手法の改変ができません。本書の 100 問は、こうした導出を紙の上で追わせたうえで、同じ内容を Python で実装して数値的に確かめる往復を求めます。版元の位置づけでは、本書は Elements of Statistical Learning (邦訳『統計的学習の基礎』共立出版) と Introduction to Statistical Learning with R (邦訳『 R による統計的学習入門』朝倉書店) に準拠し、水準はその中間にあります。事典に近い前者と、パッケージ操作と直観的な理解に重心を置く後者の間で、手法の中身を自分で組み立てる訓練を担う一冊です。統計学 の推定と検定の言葉で機械学習を捉え直す構成なので、機械学習に必要な数学の本を段階別に比べた 機械学習の数学本ガイド と合わせて読むと、本書がどの段階に位置するかがつかめます。

前提となる数学と、独力で解ける層の目安

前提は線形代数と微積分、確率統計の学部基礎で、第 0 章に線形代数の復習が置かれているとはいえ、固有値分解や最尤推定を初めて見る段階では厳しい内容です。版元自身が、問題をすべて独力で解くのは大学院生か学部の上位 10% 程度、あるいはその分野の研究開発に携わる人でなければ難しいかもしれないと述べ、その一方で解説を読むだけでも十分な意味があるとしています。大阪大学基礎工学部情報科学科数理科学コースの 3 年生向け講義で使われた教材が元になっているので、学部 3 年までに履修する数学を土台に組まれています。 Python については、掲載されたソースプログラムを読んで動かす立場で使うため、文法の基礎と行列計算の読み書きができれば取り組めます。

元が取れるのは、機械学習を学部レベルの数学で説明できるようになりたい学生、実務でモデルを使っているものの正則化やクロスバリデーションの意味を自分の言葉で説明できないことに不安がある人、データサイエンス の職種で理論面の底上げを求められている人です。数学を避けて実装だけを覚えたい人や、深層学習の実装を目的にする人には、演習の重心が合いません。本巻は統計的機械学習の基本手法を横断する土台の巻なので、機械学習の数学を体系的に鍛え直したい人が最初に手に取り、 1 問ずつ解き切ることで理解を確かなものにできる一冊です。