ベイズ深層学習(ベイズシンソウガクシュウ)

「読んでいて本当に心地がいい」と大好評の前著『ベイズ推論による機械学習入門』からの第 2 弾!

「深層学習とベイズ統計の融合」がすべて詰まった 「欲張り」本!
基礎からはじめ、深層生成モデルやガウス過程とのつながりまでをていねいに解説した。本邦初の成書!

本書のサポートページ:
https:／／ github.com/sammy-suyama/BayesianDeepLearningBook

【主な内容】
第 1 章 はじめに
1.1 ベイズ統計とニューラルネットワークの変遷
1.2 ベイズ深層学習

第 2 章 ニューラルネットワークの基礎
2.1 線形回帰モデル
2.2 ニューラルネットワーク
2.3 効率的な学習法
2.4 ニューラルネットワークの拡張モデル

第 3 章 ベイズ推論の基礎
3.1 確率推論
3.2 指数型分布族
3.3 ベイズ線形回帰
3.4 最尤推定,MAP 推定との関係

第 4 章 近似ベイズ推論
4.1 サンプリングに基づく推論手法
4.2 最適化に基づく推論手法

第 5 章 ニューラルネットワークのベイズ推論
5.1 ベイズニューラルネットワークモデルの近似推論法
5.2 近似ベイズ推論の効率化
5.3 ベイズ推論と確率的正則化
5.4 不確実性の推定を使った応用

第 6 章 深層生成モデル
6.1 変分自己符号化器
6.2 変分モデル
6.3 生成ネットワークの構造学習
6.4 その他の深層生成モデル

第 7 章 深層学習とガウス過程
7.1 ガウス過程の基礎
7.2 ガウス過程による分類
7.3 ガウス過程のスパース近似
7.4 深層学習のガウス過程解釈
7.5 ガウス過程による生成モデル
第 1 章 はじめに
1.1 ベイズ統計とニューラルネットワークの変遷
1.2 ベイズ深層学習

第 2 章 ニューラルネットワークの基礎
2.1 線形回帰モデル
2.2 ニューラルネットワーク
2.3 効率的な学習法
2.4 ニューラルネットワークの拡張モデル

第 3 章 ベイズ推論の基礎
3.1 確率推論
3.2 指数型分布族
3.3 ベイズ線形回帰
3.4 最尤推定,MAP 推定との関係

第 4 章 近似ベイズ推論
4.1 サンプリングに基づく推論手法
4.2 最適化に基づく推論手法

第 5 章 ニューラルネットワークのベイズ推論
5.1 ベイズニューラルネットワークモデルの近似推論法
5.2 近似ベイズ推論の効率化
5.3 ベイズ推論と確率的正則化
5.4 不確実性の推定を使った応用

第 6 章 深層生成モデル
6.1 変分自己符号化器
6.2 変分モデル
6.3 生成ネットワークの構造学習
6.4 その他の深層生成モデル

第 7 章 深層学習とガウス過程
7.1 ガウス過程の基礎
7.2 ガウス過程による分類
7.3 ガウス過程のスパース近似
7.4 深層学習のガウス過程解釈
7.5 ガウス過程による生成モデル

ニューラルネットワークの予測は「答え」を一つ返しますが、その答えにどれだけ自信があるのかまでは教えてくれません。『ベイズ深層学習』は、ベイズ推論の枠組みを 深層学習 に持ち込み、予測の不確実性を扱えるようにする理論を解説する専門書です。須山敦志氏の著により、講談社の機械学習プロフェッショナルシリーズの一冊として 2019 年 8 月に刊行されました。版元は本書を、前著『ベイズ推論による機械学習入門』に続く第 2 弾であり、深層学習とベイズ統計の融合を扱う本邦初の成書と紹介しています。

7 章構成、二つの基礎を固めてから融合へ

構成が誠実です。第 1 章でベイズ統計とニューラルネットワークの変遷を概観したあと、第 2 章でニューラルネットワークの基礎、第 3 章でベイズ推論の基礎 (指数型分布族、ベイズ線形回帰、最尤推定・ MAP 推定との関係) と、融合する二つの分野をそれぞれ独立に固め直します。第 4 章の近似ベイズ推論 (サンプリングに基づく手法と最適化に基づく手法) を経て、第 5 章でいよいよニューラルネットワークのベイズ推論へ。近似推論の効率化、ベイズ推論と確率的正則化の関係、不確実性の推定を使った応用までを扱います。終盤は第 6 章の深層生成モデル (変分自己符号化器ほか) と、第 7 章の深層学習とガウス過程 (スパース近似・深層学習のガウス過程解釈) で締めます。

「不確実性を出せるモデル」がなぜ要るのか

重みを一つの値ではなく確率分布として扱うと、モデルは「予測とその確からしさ」を同時に返せるようになります。これは学術的な趣味ではなく実務の要請です。医療や自動運転のように誤りのコストが大きい予測では「自信のない予測」を検出して人間に回す仕組みが要りますし、データを追加取得する能動学習では、モデルが不確かな領域こそ次に測るべき場所になります。第 5 章の「不確実性の推定を使った応用」やガウス過程との接続は、まさにこの実務的な動機に理論の裏付けを与える部分です。

必要な数理の前提と向いている読者

求められる土台は軽くありません。確率論の基礎、ベイズ推論の枠組み (事前分布・事後分布) 、そして通常の深層学習 (誤差逆伝播・最適化) の理解が前提で、数式を追い切る覚悟が要ります。大学院レベルの統計・機械学習を学んだ人、または相当の自習を積んだ人向けです。数理側に不安があるなら 機械学習に必要な数学の本の選び方 で土台を作り、著者の前著でベイズ推論に慣れてから挑む順路が現実的です。予測の信頼区間を出したい、確率的なモデリングと深層学習を一つの視点で捉えたい。そんな必要に直面した人が日本語で立ち返れる、貴重な理論書です。