機械学習のための連続最適化

最小の努力で、最大の学びがここにある!・境界分野が面白い! 基礎から最先端まで, 骨太の一冊!・機械学習に不可欠な基礎知識が身につく。・おだやかではない。かつてこれほどの教科書があっただろうか。

最小の努力で、最大の学びがここにある!
・境界分野が面白い! 基礎から最先端まで, 骨太の一冊!
・機械学習に不可欠な基礎知識が身につく。
・おだやかではない。かつてこれほどの教科書があっただろうか。

【機械学習プロフェッショナルシリーズ】
本シリーズでは、発展著しい機械学習技術の数学的な基礎理論、実用的なアルゴリズム、それらの活用法を、全 30 巻にわたって刊行する。
ビッグデータ時代を牽引している若手・中堅の現役研究者が、入門的な内容から最先端の研究成果までをわかりやすく解説。
これからデータサイエンス分野で研究を始めようとしている大学生・大学院生、および、機械学習技術を基礎科学や産業に応用しようとしている研究者・技術者に向けた注目のシリーズである。

第 6 期として、以下の 3 点を刊行!

機械学習のための連続最適化 金森 敬文/鈴木 大慈/竹内 一郎/佐藤 一誠・著
関係データ学習 石黒 勝彦/林 浩平・著
オンライン予測 畑埜 晃平/瀧本 英二・著

第 7 期の刊行は 2017 年 4 月、第 8 期の刊行は 2017 年 8 月の予定。

【シリーズ編者】
杉山 将 理化学研究所 革新知能統合研究センター センター長 / 東京大学大学院新領域創成科学研究科 教授

機械学習のモデルを学習させる処理の大半は、損失関数を最小にするパラメーターを連続な空間の中で探す最適化問題です。『機械学習のための連続最適化』 (金森敬文、鈴木大慈、竹内一郎、佐藤一誠 著、講談社、2016 年 12 月 6 日発行) は、この連続最適化の理論とアルゴリズムを、最適性条件から機械学習への応用まで順に解説した教科書で、講談社サイエンティフィクが編集する機械学習プロフェッショナルシリーズの 1 冊です。版元はこの本を教科書としての利用を想定した書籍に分類しており、シリーズの案内は読者として大学生と大学院生、機械学習技術を基礎科学や産業に応用しようとしている研究者と技術者を挙げています。

制約なしと制約付き、4 部 16 章で最適化法を積み上げる構成

本文は 4 部 16 章です。第 Ⅰ 部の導入では、第 1 章で機械学習における推論と計算、反復法と収束速度を述べ、第 2 章で微積分と線形代数の基礎 (テイラーの定理、陰関数定理、対称行列と固有値、ノルムなど) と凸解析の基礎 (凸集合と凸関数、共役関数、劣勾配と劣微分) をまとめます。第 Ⅱ 部の制約なし最適化は、最適性条件とアルゴリズムの停止条件から入り、勾配法の基礎、ニュートン法、共役勾配法、準ニュートン法、信頼領域法の 6 章が並びます。第 Ⅲ 部の制約付き最適化は、等式制約と不等式制約それぞれの最適性条件、主問題に対する最適化法 (有効制約法、ペナルティ関数法、バリア関数法)、ラグランジュ関数を用いる最適化法の 4 章です。第 Ⅳ 部の学習アルゴリズムとしての最適化では、上界最小化アルゴリズム、サポートベクトルマシンと最適化、スパース学習、行列空間上の最適化を扱います。

収束の速さと双対性が学習アルゴリズムを左右する理由

連続最適化を理論から学ぶ価値は、同じ問題を解く手法どうしの違いを説明できるようになる点にあります。勾配だけを使う方法は 1 回の反復が軽い代わりに収束が遅くなりやすく、ヘッセ行列まで使うニュートン法は解の近くで速く収束する代わりに 1 回の計算が重くなります。準ニュートン法はその中間で、勾配の変化からヘッセ行列の近似を更新していきます。本書の詳細目次でも、最急降下法の収束速度、ニュートン法の導出と修正ニュートン法、準ニュートン法の収束性と記憶制限付き準ニュートン法といった節が並び、手法の選択を収束の性質と結びつけて学べる配置です。

制約付き最適化で中心になるのは、ラグランジュ関数を通じて元の問題 (主問題) と双対問題を行き来する考え方です。サポートベクトルマシンの学習が双対問題として解かれるのはその代表で、第 14 章には SVM の主問題と双対問題、最適性条件の節に続き、カーネル SVM の双対問題を解く SMO アルゴリズムと、線形 SVM の双対問題を解く DCDM アルゴリズムの節があります。第 12 章の交互方向乗数法は、問題を分けて解く手法として並列計算の節を持ち、第 15 章では L1 正則化によるスパース学習を近接勾配法、座標降下法、交互方向乗数法で解く節に再び現れます。第 4 章には誤差逆伝搬法の節もあり、深層学習で使われる勾配の計算が最適化法の文脈の中に位置づけられています。

定理を追う前提知識と、この本が扱わない範囲

第 2 章が基礎事項をまとめているとはいえ、扱いはテイラーの定理や陰関数定理、固有値といった定理と概念の確認で、微積分と線形代数を一から教える構成ではありません。大学の初年級で学ぶ程度の数学に一度触れてから読むと、各章の最適性条件や収束の議論を追いやすくなります。数学の学び直しから始めたい段階なら、機械学習に必要な数学の本ガイド で入口の本を先に選んでおく手があります。また詳細目次には、確率的な勾配の更新を題にした章や節が見当たりません。深層学習 をはじめ大規模データの学習で使われる確率的勾配法やその変種の振る舞いを主に知りたい場合は、その題材を章として立てた本を別に探すほうが目的に近づきます。

論文に出てくる双対問題や近接勾配法、交互方向乗数法の記述を、式の意味まで理解して読みたい人や、自分の課題に合う最適化法を収束の性質から選びたい研究者と技術者にとって、基礎事項から学習アルゴリズムへの応用までを 1 冊でつないだ本書は、手法の名前を並べた知識を判断の根拠に変えるための土台になります。