強化学習 (第 2 版)

不朽の名著、待望の改訂版! 強化学習発展の立役者自らが書き下ろした書。「強化学習の考え方とアルゴリズムを明確に簡潔に説明する」という第 1 版の特長はそのままに、第 2 版では、発展的手法や心理学・神経科学との関係の紹介が大幅に加筆されています。 第 I 部では、テーブル形式の範囲でできるだけ多くの強化学習を扱い、核となる考え方を単純な設定で進めます。第 II 部では、そうした考え方を関数近似に拡張します。第 III 部では、心理学・神経科学との関係、 AlphaGo などのケーススタディ、将来展望について述べています。 ますます重要性を増す強化学習について、基礎から応用までを学べる一冊です。 ［原著］ Reinforcement Learning, Second Edition: An Introduction (The MIT Press, 2018) ＊＊＊ 「第 1 版は、強化学習の学習者には必読の教科書となっています。刊行から 20 年の時間が経ち、 AlphaGo などの新しい技術も出てきました。こうした新しい話題をカバーしながら、基礎からしっかりと説明がされているのが、この改訂版です。……強化学習の分野もまだまだこれから大きく発展していくと考えられますが、本書は、現時点で、この分野を学ぶための最もわかりやすく整理された教科書だと思います。」 ーー東京大学教授・松尾 豊 (監訳者序文より) 第 1 章 序 第 I 部 テーブル形式の解法 第 2 章 多腕バンディット問題 第 3 章 有限マルコフ決定過程 第 4 章 動的計画法 第 5 章 モンテカルロ法 第 6 章 TD 学習 第 7 章 n ステップ・ブートストラップ法 第 8 章 テーブル形式手法におけるプランニングと学習 第 II 部 近似による解法 第 9 章 近似を用いた方策オン型予測 第 10 章 関数近似を用いた方策オン型制御 第 11 章 近似を用いた方策オフ型手法 第 12 章 適格度トレース 第 13 章 方策勾配法 第 III 部 さらに深く 第 14 章 心理学 第 15 章 神経科学 第 16 章 応用と事例紹介 第 17 章 強化学習のこれから