機械学習スタートアップシリーズ ベイズ推論による機械学習入門

最短経路で平易に理解できる、今までにない入門書!
ベイズ主義機械学習 (ベイズ学習) の基本原理にのっとり、「モデルの構築→推論の導出」という一貫した手順でアルゴリズムの作り方を解説。どこまでも分かりやすい!

【主な内容】
1 機械学習とベイズ学習
2 基本的な確率分布
3 ベイズ推論による学習と予測
4 混合モデルと近似推論
5 応用モデルの構築と推論

【機械学習スタートアップシリーズ】
本シリーズは、「機械学習ブーム」の先駆けとして 2015 年から刊行されている『機械学習プロフェッショナルシリーズ』の弟分的な存在を目指す、注目の新シリーズです。
「機械学習をもっと身近に、機械学習をもっとわかりやすく!」を合言葉に、より丁寧な記述で、基本的なテーマを解説していきます。

まず、以下の 2 点を同時に刊行いたします (^o^)/

『これならわかる深層学習入門』瀧 雅人・著
『ベイズ推論による機械学習入門』須山 敦志・著/杉山 将・監修
第 1 章 機械学習とベイズ学習
機械学習とは/機械学習の代表的なタスク/機械学習の 2 つのアプローチ/確率の基本計算/グラフィカルモデル/ベイズ学習のアプローチ
第 2 章 基本的な確率分布
期待値/離散確率分布/連続確率分布
第 3 章 ベイズ推論による学習と予測
学習と予測/離散確率分布の学習と予測/1 次元ガウス分布の学習と予測/多次元ガウス分布の学習と予測/線形回帰の例
第 4 章 混合モデルと近似推論
混合モデルと事後分布の推論/確率分布の近似手法/ポアソン混合モデルにおける推論/ガウス混合モデルにおける推論
第 5 章 応用モデルの構築と推論
線形次元削減/非負値行列因子分解/隠れマルコフモデル/トピックモデル/テンソル分解/ロジスティック回帰/ニューラルネットワーク

『ベイズ推論による機械学習入門』 (須山 敦志 著、杉山 将 監修、講談社、2017 年 10 月 20 日発行) は、講談社の機械学習スタートアップシリーズの 1 冊で、ベイズ主義機械学習 (ベイズ学習) の基本原理にのっとり、「モデルの構築→推論の導出」という一貫した手順でアルゴリズムの作り方を解説する入門書です。まえがきは、既存の機械学習の参考書の多くが個々のツールやアルゴリズムの動作原理と使い方に焦点を当てているのに対し、本書は技術者が自らアルゴリズムを「デザイン」することに重点をおくと述べています。既製のモデルを呼び出すだけでなく、データに合わせた確率モデルを自分で組み立て、推論の式を自分で導けるようになりたい人に向けた本です。監修の杉山 将氏は、2017 年 6 月付の監修にあたっての署名では理化学研究所 革新知能統合研究センターのセンター長と東京大学大学院の教授を務めていました。

全 5 章と付録 A の構成、確率分布の準備から応用モデルまで

第 1 章「機械学習とベイズ学習」は、回帰、分類、クラスタリング、次元削減などの代表的なタスク、ツールボックスとしての機械学習とモデリングとしての機械学習という 2 つのアプローチ、確率の基本計算、グラフィカルモデル、ベイズ学習のアプローチを扱います。第 2 章「基本的な確率分布」は期待値、エントロピー、KL ダイバージェンスから始まり、ベルヌーイ分布やポアソン分布などの離散確率分布と、ベータ分布、ディリクレ分布、ガンマ分布、ガウス分布、ウィシャート分布などの連続確率分布を並べます。第 3 章「ベイズ推論による学習と予測」は事後分布、予測分布、共役事前分布を押さえたうえで各分布の学習と予測を順に導き、線形回帰の例ではモデルの比較まで進みます。第 4 章「混合モデルと近似推論」はギブスサンプリングと変分推論を導入し、ポアソン混合モデルとガウス混合モデルの両方でギブスサンプリング、変分推論、崩壊型ギブスサンプリングを導いて簡易実験で確かめます。第 5 章「応用モデルの構築と推論」は線形次元削減、非負値行列因子分解、隠れマルコフモデル、トピックモデル、テンソル分解、ロジスティック回帰、ニューラルネットワークの 7 節からなり、まえがきでは 4 章で紹介したモデルの構築手段と近似アルゴリズムの導出方法をそのまま幅広い問題に適用する「ショーケースのような章」と説明されています。付録 A は行列計算、ガンマ関数やシグモイド関数などの特殊な関数、勾配法、周辺尤度の下限を補います。

共役事前分布と近似推論、ベイズ学習の考え方

ベイズ推論では、パラメーターに事前分布を置き、観測データの尤度と掛け合わせて事後分布を求め、予測はパラメーターについて平均をとった予測分布で行います。事前分布と尤度の組み合わせが共役であれば事後分布は同じ形の分布として計算でき、第 3 章は共役事前分布を使って分布ごとに学習と予測を導く章で、共役でない事前分布の利用にも節を設けています。ところが、どのデータがどのクラスターに属するかという隠れた変数を含む混合モデルになると、事後分布は厳密には計算できなくなります。そこで、条件付き分布から順にサンプルを引いて事後分布を近似するギブスサンプリングと、扱いやすい形の分布で事後分布を近似し、その近さを KL ダイバージェンスで測る変分推論が必要になります。本書の構成の強みは、モデルを書き、事後分布を求め、厳密に解けなければ近似するという手順を、第 5 章でトピックモデルや隠れマルコフモデル、ニューラルネットワーク にまで同じ形で当てはめている点です。個々の手法を別々の道具として覚えるのではなく、1 つの作り方の応用として 機械学習 の多くのモデルを見通せるようになることが、本書の読みどころと読めます。

大学 1、2 年の数学を前提に、第 1 章から順に読む

まえがきが挙げる標準的な読者は、これから機械学習やベイズ学習を研究で使いたい学生、データに関わる業務や基礎科学に携わる技術者と研究者、すでに機械学習技術を使っていて問題に合わせてアルゴリズムを構築したり改良したりしたい技術者と研究者です。前提は線形代数、微分積分、統計学やプログラミングなど、主に理数系の大学 1、2 年生で習う程度の数学とコンピューターの知識で、完全に理解してから読み始める必要はなく、詰まった時に教科書を参照する程度でよいとされています。数式が多く見えるのは計算手順を 1 つずつ書き下しているためで、構成は最初の章から順に読み進めることを想定しています。数学の土台を先に固めたい場合は 機械学習に必要な数学の本の選び方 も参考になります。一方で、まえがきは数学的に厳密な議論を避けていることと、強化学習やベイジアンノンパラメトリクスの理論、深層学習まわりの技法には詳細には踏み込まないことを明記しているため、それらを主題として学びたい人は別の本を選ぶ必要があります。ソースコードと正誤表の案内先は、版元のサポートページから著者の GitHub リポジトリにつながっています。

ライブラリの関数を呼べば動く段階から一歩進み、自分のデータに合わせて確率モデルを設計し、推論アルゴリズムまで導けるようになりたい人にとって、確率分布の準備から近似推論、7 種の応用モデルまでを一貫した手順で通せる本書は、紙と鉛筆で式を追う時間に見合う手応えを返してくれる 1 冊です。