強化学習

理論は裏切らない ・強化学習で必要になる数理を広くカバーした。 ・一貫したていねいな解説なので、じっくり読める。付録・参考文献も充実! ・ベルマン方程式、 TD 学習、方策勾配、 POMDP 、深層強化学習をより深く! 【おもな内容】 第 1 章 準備 1.1 強化学習とは 1.2 マルコフ決定過程と逐次的意思決定問題 1.3 方策 1.4 逐次的意思決定問題の定式化 第 2 章 プランニング 2.1 準備 2.2 動的計画法 2.3 動的計画法による解法 2.4 線形計画法による解法 第 3 章 探索と活用のトレードオフ 3.1 概要 3.2 探索と活用のトレードオフ 3.3 方策モデル 第 4 章 モデルフリー型の強化学習 4.1 データにもとづく意思決定 4.2 価値関数の推定 4.3 方策と行動価値関数の学習 4.4 収束性 4.5 アクター・クリティック法 第 5 章 モデルベース型の強化学習 5.1 問題設定の整理 5.2 環境推定 5.3 ブラックボックス生成モデルに対するプランニング 5.4 オンラインのモデルベース型強化学習 第 6 章 関数近似を用いた強化学習 6.1 概要 6.2 価値関数の関数近似 6.3 方策の関数近似 第 7 章 部分観測マルコフ決定過程 7.1 部分観測マルコフ決定過程 (POMDP) の基礎 7.2 POMDP のプランニング 7.3 POMDP の学習 第 8 章 最近の話題 8.1 分布強化学習 8.2 深層強化学習 付録 A 補足 A.1 証明 A.2 ノルム A.3 線形計画法 A.4 自然勾配法の補足 準備 プランニング 探索と活用のトレードオフ モデルフリー型の強化学習 モデルベース型の強化学習 関数近似を用いた強化学習 部分観測マルコフ決定過程 最近の話題