しくみがわかるベイズ統計と機械学習

ベイズ統計と機械学習の基礎理論を丁寧に解説。〔内容〕統計学と機械学習 / 確率入門 / ベイズ推定入門 / 二項分布とその仲間たち / 共役事前分布 / EM アルゴリズム / 変分ベイズ / マルコフ連鎖モンテカルロ法 / 変分オートエンコーダ
1. 統計学と機械学習#br# 1.1 統計学の目的#br# 1.2 機械学習の目的#br##br#2. ベイズ統計と機械学習のための確率入門#br# 2.1 確率の基礎#br# 2.2 同時確率・周辺確率・条件付き確率#br# 2.3 確率変数の独立性#br# 2.4 連続変数の分布#br# 2.5 正規分布#br# 2.6 期待値#br# 2.7 規格化#br##br#3. ベイズ推定入門#br# 3.1 観測値と推定量#br# 3.2 最尤推定#br# 3.3 ベイズ推定#br##br#4. 二項分布とその仲間たち#br# 4.1 二項分布#br# 4.2 多項分布#br##br#5. 共役事前分布#br# 5.1 ディリクレ分布#br# 5.2 ガンマ分布#br# 5.3 正規ーガンマ分布#br##br#6. EM アルゴリズム#br# 6.1 混合モデル#br# 6.2 EM アルゴリズム#br# 6.3 グラフィカルモデル#br##br#7. 変分ベイズ#br# 7.1 変分法と変分ベイズ#br# 7.2 変分ベイズにおける変分下界#br# 7.3 変分ベイズによる推定#br##br#8. マルコフ連鎖モンテカルロ法#br# 8.1 サンプリング#br# 8.2 マルコフ性とマルコフ連鎖#br# 8.3 メトロポリス・ヘイスティングス法#br# 8.4 ギブスサンプリング#br##br#9. 変分オートエンコーダ#br# 9.1 生成モデルと認識モデル#br# 9.2 VAE の学習#br# 9.3 条件付き変分オートエンコーダ

『しくみがわかるベイズ統計と機械学習』 (手塚 太郎 著、朝倉書店、2019 年 11 月刊) は、確率の基礎から出発して、ベイズ推定、共役事前分布、EM アルゴリズム、変分ベイズ、マルコフ連鎖モンテカルロ法 (MCMC) を経て、変分オートエンコーダ (VAE) までを全 9 章で順に積み上げる教科書です。版元の内容紹介は「ベイズ統計と機械学習の基礎理論を丁寧に解説」と位置づけており、ライブラリの使い方より先に、確率モデルで推定や学習がどう組み立てられるかを理解したい人に向いた一冊です。

全 9 章の構成、確率入門から変分オートエンコーダまで

第 1 章「統計学と機械学習」で両者の目的を整理したあと、第 2 章「ベイズ統計と機械学習のための確率入門」で同時確率、周辺確率、条件付き確率、確率変数の独立性、連続変数の分布、正規分布、期待値、規格化を順に押さえます。第 3 章「ベイズ推定入門」は観測値と推定量から最尤推定、ベイズ推定へ進み、第 4 章「二項分布とその仲間たち」で二項分布と多項分布、第 5 章「共役事前分布」でディリクレ分布、ガンマ分布、正規-ガンマ分布を扱います。後半は 第 6 章「EM アルゴリズム」で混合モデルとグラフィカルモデル、第 7 章「変分ベイズ」で変分法と変分下界、第 8 章「マルコフ連鎖モンテカルロ法」でメトロポリス・ヘイスティングス法とギブスサンプリングへ進み、第 9 章「変分オートエンコーダ」は生成モデルと認識モデル、VAE の学習、条件付き変分オートエンコーダで締めくくられます。

最尤推定から事後分布へ、近似推論が必要になる理由

ベイズ統計の出発点は、パラメーターを一つの値として当てる最尤推定とは違い、データを見たあとのパラメーターの不確かさを事後分布という分布のまま扱う点にあります。頻度論の 統計学 に慣れた人がつまずきやすいのは、事後分布を求める式の分母に現れる周辺尤度の積分が、少し複雑なモデルになるとたちまち解析的に解けなくなることです。共役事前分布はこの積分が閉じた形で計算できる特別な組み合わせで、二項分布とベータ分布、多項分布とディリクレ分布のような対応を知っておくと、事後分布の更新を手計算で追えます。混合モデルのように観測されない変数を含むモデルでは、EM アルゴリズムが下界を交互に引き上げて推定を進め、これを分布の近似へ一般化したのが変分ベイズです。もう一つの道が、事後分布から乱数を引いて期待値を近似する MCMC です。VAE は、この変分推論の考え方を ディープラーニング のニューラルネットワークと組み合わせた生成モデルで、本書の目次は近似推論の 2 つの道を経て VAE の章で終わります。

確率と微分積分の前提、読み進めるための準備

第 2 章で確率の基礎から入るため、確率そのものの予備知識は少なくても始められます。一方で、連続変数の分布、期待値、規格化はいずれも積分で表され、第 7 章の節題には変分法が掲げられています。数学の学び直しをどこから始めるかで迷う場合は、機械学習に必要な数学の本 の整理で自分の位置を確かめてから手に取ると、途中で止まる箇所を減らせます。なお版元のページには正誤表が 3 点掲載されているので、手元の刷に合わせて確認しておくと式の追跡で迷わずに済みます。

向いている読者、理論の土台を一冊で通したい人へ

目次の節題は確率分布と推定手法の理論の項目で組まれているため、特定のライブラリの操作手順を主に求める人は、実装を中心にした書籍と組み合わせて読むほうが目的に合います。また、深層学習そのものを広く学びたい場合は、版元が関連書籍に挙げる同じ著者の『しくみがわかる深層学習』のほうが主題に近くなります。逆に、ベイズ推定の考え方から EM アルゴリズム、変分ベイズ、MCMC、VAE までを一冊の中で順に通しておきたい人、確率的プログラミングのツールや生成モデルの論文を読む前に、その背後にある推論の仕組みを自分の言葉で説明できるようにしたい人にとって、本書は投じた時間に見合う土台を与えてくれる一冊です。