強化学習(キョウカガクシュウ)

理論は裏切らない
・強化学習で必要になる数理を広くカバーした。
・一貫したていねいな解説なので、じっくり読める。付録・参考文献も充実!
・ベルマン方程式、 TD 学習、方策勾配、 POMDP 、深層強化学習をより深く!

【おもな内容】
第 1 章 準備
1.1 強化学習とは
1.2 マルコフ決定過程と逐次的意思決定問題
1.3 方策
1.4 逐次的意思決定問題の定式化

第 2 章 プランニング
2.1 準備
2.2 動的計画法
2.3 動的計画法による解法
2.4 線形計画法による解法

第 3 章 探索と活用のトレードオフ
3.1 概要
3.2 探索と活用のトレードオフ
3.3 方策モデル

第 4 章 モデルフリー型の強化学習
4.1 データにもとづく意思決定
4.2 価値関数の推定
4.3 方策と行動価値関数の学習
4.4 収束性
4.5 アクター・クリティック法

第 5 章 モデルベース型の強化学習
5.1 問題設定の整理
5.2 環境推定
5.3 ブラックボックス生成モデルに対するプランニング
5.4 オンラインのモデルベース型強化学習

第 6 章 関数近似を用いた強化学習
6.1 概要
6.2 価値関数の関数近似
6.3 方策の関数近似

第 7 章 部分観測マルコフ決定過程
7.1 部分観測マルコフ決定過程 (POMDP) の基礎
7.2 POMDP のプランニング
7.3 POMDP の学習

第 8 章 最近の話題
8.1 分布強化学習
8.2 深層強化学習

付録 A 補足
A.1 証明
A.2 ノルム
A.3 線形計画法
A.4 自然勾配法の補足
準備
プランニング
探索と活用のトレードオフ
モデルフリー型の強化学習
モデルベース型の強化学習
関数近似を用いた強化学習
部分観測マルコフ決定過程
最近の話題