ベイズ深層学習(ベイズシンソウガクシュウ)

「読んでいて本当に心地がいい」と大好評の前著『ベイズ推論による機械学習入門』からの第 2 弾!

「深層学習とベイズ統計の融合」がすべて詰まった 「欲張り」本!
基礎からはじめ、深層生成モデルやガウス過程とのつながりまでをていねいに解説した。本邦初の成書!

本書のサポートページ:
https:／／ github.com/sammy-suyama/BayesianDeepLearningBook

【主な内容】
第 1 章 はじめに
1.1 ベイズ統計とニューラルネットワークの変遷
1.2 ベイズ深層学習

第 2 章 ニューラルネットワークの基礎
2.1 線形回帰モデル
2.2 ニューラルネットワーク
2.3 効率的な学習法
2.4 ニューラルネットワークの拡張モデル

第 3 章 ベイズ推論の基礎
3.1 確率推論
3.2 指数型分布族
3.3 ベイズ線形回帰
3.4 最尤推定,MAP 推定との関係

第 4 章 近似ベイズ推論
4.1 サンプリングに基づく推論手法
4.2 最適化に基づく推論手法

第 5 章 ニューラルネットワークのベイズ推論
5.1 ベイズニューラルネットワークモデルの近似推論法
5.2 近似ベイズ推論の効率化
5.3 ベイズ推論と確率的正則化
5.4 不確実性の推定を使った応用

第 6 章 深層生成モデル
6.1 変分自己符号化器
6.2 変分モデル
6.3 生成ネットワークの構造学習
6.4 その他の深層生成モデル

第 7 章 深層学習とガウス過程
7.1 ガウス過程の基礎
7.2 ガウス過程による分類
7.3 ガウス過程のスパース近似
7.4 深層学習のガウス過程解釈
7.5 ガウス過程による生成モデル
第 1 章 はじめに
1.1 ベイズ統計とニューラルネットワークの変遷
1.2 ベイズ深層学習

第 2 章 ニューラルネットワークの基礎
2.1 線形回帰モデル
2.2 ニューラルネットワーク
2.3 効率的な学習法
2.4 ニューラルネットワークの拡張モデル

第 3 章 ベイズ推論の基礎
3.1 確率推論
3.2 指数型分布族
3.3 ベイズ線形回帰
3.4 最尤推定,MAP 推定との関係

第 4 章 近似ベイズ推論
4.1 サンプリングに基づく推論手法
4.2 最適化に基づく推論手法

第 5 章 ニューラルネットワークのベイズ推論
5.1 ベイズニューラルネットワークモデルの近似推論法
5.2 近似ベイズ推論の効率化
5.3 ベイズ推論と確率的正則化
5.4 不確実性の推定を使った応用

第 6 章 深層生成モデル
6.1 変分自己符号化器
6.2 変分モデル
6.3 生成ネットワークの構造学習
6.4 その他の深層生成モデル

第 7 章 深層学習とガウス過程
7.1 ガウス過程の基礎
7.2 ガウス過程による分類
7.3 ガウス過程のスパース近似
7.4 深層学習のガウス過程解釈
7.5 ガウス過程による生成モデル

ニューラルネットワークの予測は「答え」を一つ返しますが、その答えにどれだけ自信があるのかは教えてくれません。本書はベイズ推論の枠組みを深層学習に持ち込むことで、予測の不確実性を定量化する方法を解説します。重みを点推定ではなく確率分布として扱い、変分推論やモンテカルロドロップアウトといった近似手法でその分布を推定する、というアプローチの理論と実装を一冊に凝縮しています。

前提として求められる知識は軽くありません。確率論の基礎、ベイズ推論の枠組み (事前分布・事後分布・周辺尤度) 、そして通常の深層学習 (誤差逆伝播、最適化) の理解が土台になります。大学院レベルの統計・機械学習を学んだ人、もしくはそれに相当する自習を経た人が対象です。

扱うテーマが高度であるぶん、この分野を日本語で体系的に学べる書籍はほとんどありません。ベイズ深層学習が必要になる場面 (安全性が要求される予測、能動学習、モデルの信頼区間を出したいケース) に直面したとき、理論の出発点として立ち返れる本です。