統計的学習の基礎

機械学習とは, コンピュータに学習能力を持たせるための方法論を研究する学問の名称であり, もともとは人工知能分野の一部として研究されていた。その後, 機械学習は統計学と密接な関わりを持つようになり,「統計的学習」として独自の発展の道を歩み始めた。そして, 1990 年代から現在に至るまでの計算機やインターネットの爆発的な普及と相まって統計的学習の技術は目覚ましい発展を遂げ, いまや情報検索, オンラインショッピングなど, われわれの日常生活とは切り離すことのできない情報通信技術の根幹を支える重要な要素技術の一つとなった。
本書は, このような発展著しい統計的学習分野の世界的に著名な教科書である“The Elements of Statistical Learning” の全訳である。回帰や分類などの教師あり学習の入門的な話題から, ニューラルネットワーク, サポートベクトルマシンなどのより洗練された学習器, ブースティングやアンサンブル学習などの学習手法の高度化技術, さらにはグラフィカルモデルや高次元学習問題に対するスパース学習法などの最新の話題までを幅広く網羅しており, 計算機科学などの情報技術を専門とする大学生・大学院生, および, 機械学習技術を基礎科学や産業に応用しようとしている大学院生・研究者・技術者にとって最適な教科書である。

『統計的学習の基礎』は、Trevor Hastie、Robert Tibshirani、Jerome Friedman の 3 名による教科書 The Elements of Statistical Learning の原著第 2 版 (Springer、2009 年) を全訳した書籍で、共立出版から 2014 年 6 月に刊行されました。監訳は杉山 将、井手 剛、神嶌 敏弘、栗田 多喜夫、前田 英作の 5 名、訳は井尻 善久ほか 18 名です。回帰や分類の入門的な話題から、ニューラルネットワーク、サポートベクトルマシン、ブースティング、アンサンブル学習、グラフィカルモデル、高次元の問題に対するスパース学習法までを一冊で扱い、版元は情報技術を専門とする大学生と大学院生、そして機械学習技術を基礎科学や産業に応用しようとする研究者と技術者に向けた教科書と案内しています。副題は「データマイニング・推論・予測」です。

全 18 章の構成、線形手法から高次元の問題まで

版元の目次は節と項まで公開されており、第 1 章「序章」と第 2 章「教師あり学習の概要」で枠組みを示したあと、第 3 章「回帰のための線形手法」と第 4 章「分類のための線形手法」で線形モデルを固めます。第 5 章から第 8 章は基底展開と正則化、カーネル平滑化法、モデルの評価と選択、モデル推論と平均化へと進み、第 9 章から第 13 章で加法的モデルと木、ブースティング、ニューラルネットワーク、サポートベクトルマシン、プロトタイプ法と近傍に基づく分類を扱います。第 14 章「教師なし学習」ではクラスター分析や主成分分析に加えて Google ページランクのアルゴリズムの節まで置かれ、第 15 章「ランダムフォレスト」、第 16 章「アンサンブル学習」、第 17 章「無向グラフィカルモデル」を経て、第 18 章「高次元の問題: p ≫ N」で締めくくります。第 3 章の前立腺癌、第 9 章と第 10 章のスパムメールのように、具体的なデータを使った例が節として置かれ、いくつかの章の末尾には計算上考慮すべき事柄を扱う節があります。

バイアスと分散のトレードオフという共通の軸

機械学習 の手法は数が多く、一つずつ使い方を覚えるだけでは、どの場面でどれを選べばよいかが見えにくくなります。本書の目次を見ると、第 2 章の最後の節が「モデル選択と, バイアスと分散のトレードオフ」で、第 5 章の平滑化パラメーターの選択でも、第 7 章のモデルの評価でも同じ問題が取り上げられています。一般に、柔軟なモデルほど訓練データには合いやすい一方で、新しいデータに対する予測のばらつきが大きくなります。リッジ回帰や lasso による縮小推定、スプラインの平滑化、ブースティングの正則化は、どれもこの釣り合いを調整する道具として位置づけられます。手法を統計の言葉で同じ土俵に並べられることが、統計学 の側から機械学習をまとめた本書の強みと読めます。第 7 章に交差確認を実行する正しい方法と間違った方法を扱う項があるように、評価の手順の落とし穴にまで目が届いている点も、実務で予測モデルを扱う人に役立ちます。

原著第 2 版の全訳として押さえておく前提

本書は原著第 2 版の全訳で、原著の刊行は 2009 年、邦訳の刊行は 2014 年です。刊行年月は NDL の書誌では 2014 年 6 月で、版元公式は発売日を 2014 年 6 月 26 日、hanmoto は書店発売日を 6 月 27 日としています。ニューラルネットワークは第 11 章の 1 章にまとまっており、多層のネットワークを大規模に学習させる手法を中心に学びたい場合は、深層学習を主題にした本を別に選ぶほうが目的に合います。また目次の節題には特定のプログラミング言語やライブラリの名前は見当たらず、目次から読む限り、コードを動かしながら覚える実習書ではなく、手法の考え方と性質を論じる教科書です。ガウス＝マルコフ定理や再生核ヒルベルト空間を題に含む節や項も並ぶので、数式に不安がある場合は、機械学習に必要な数学の本の選び方 で前提となる数学の範囲を確かめてから手に取ると安心です。

予測モデルを作るときに、なぜその手法を選ぶのか、どこまで複雑にしてよいのかを自分の言葉で説明できるようになりたい大学院生、研究者、データ分析の技術者にとって、本書は手法の理由を確かめに何度も戻れる参照先になります。分量のある教科書なので、まず第 2 章から第 4 章と第 7 章で骨格をつかみ、そのあと自分の扱う手法の章へ進む読み方も取れます。