強化学習 (第 2 版)(キョウカガクシュウダイニハン)

不朽の名著、待望の改訂版!

強化学習発展の立役者自らが書き下ろした書。「強化学習の考え方とアルゴリズムを明確に簡潔に説明する」という第 1 版の特長はそのままに、第 2 版では、発展的手法や心理学・神経科学との関係の紹介が大幅に加筆されています。
第 I 部では、テーブル形式の範囲でできるだけ多くの強化学習を扱い、核となる考え方を単純な設定で進めます。第 II 部では、そうした考え方を関数近似に拡張します。第 III 部では、心理学・神経科学との関係、 AlphaGo などのケーススタディ、将来展望について述べています。
ますます重要性を増す強化学習について、基礎から応用までを学べる一冊です。

［原著］ Reinforcement Learning, Second Edition: An Introduction (The MIT Press, 2018)

＊＊＊

「第 1 版は、強化学習の学習者には必読の教科書となっています。刊行から 20 年の時間が経ち、 AlphaGo などの新しい技術も出てきました。こうした新しい話題をカバーしながら、基礎からしっかりと説明がされているのが、この改訂版です。……強化学習の分野もまだまだこれから大きく発展していくと考えられますが、本書は、現時点で、この分野を学ぶための最もわかりやすく整理された教科書だと思います。」
ーー東京大学教授・松尾 豊 (監訳者序文より)
第 1 章 序

第 I 部 テーブル形式の解法
第 2 章 多腕バンディット問題
第 3 章 有限マルコフ決定過程
第 4 章 動的計画法
第 5 章 モンテカルロ法
第 6 章 TD 学習
第 7 章 n ステップ・ブートストラップ法
第 8 章 テーブル形式手法におけるプランニングと学習

第 II 部 近似による解法
第 9 章 近似を用いた方策オン型予測
第 10 章 関数近似を用いた方策オン型制御
第 11 章 近似を用いた方策オフ型手法
第 12 章 適格度トレース
第 13 章 方策勾配法

第 III 部 さらに深く
第 14 章 心理学
第 15 章 神経科学
第 16 章 応用と事例紹介
第 17 章 強化学習のこれから

試行錯誤の経験から「どう行動すれば長期的な報酬が最大になるか」を学ぶ枝が、強化学習 です。『強化学習 第 2 版』 (森北出版、 2022 年 11 月刊) は、この分野の発展の立役者である Richard S. Sutton と Andrew G. Barto の原著 "Reinforcement Learning, Second Edition: An Introduction" (The MIT Press 、 2018 年) の日本語版で、奥村エルネスト純・鈴木雅大・松尾豊・三上貞芳・山川宏の 5 名が監訳し、今井翔太ら 10 名が訳を分担しています。訳者陣には東京大学や Preferred Networks に所属する研究者・技術者が並びます。版元は「強化学習の考え方とアルゴリズムを明確に簡潔に説明する」という第 1 版の特長を残しつつ、発展的手法と心理学・神経科学との関係の紹介を大幅に加筆した改訂版と位置づけています。強化学習を理論から体系的に学びたい学生・研究者・技術者のための教科書であり、動くコードを最短で手に入れるための本ではありません。

全 17 章・ 3 部構成、テーブル形式の解法から関数近似へ

第 1 章の序に続き、第 I 部「テーブル形式の解法」 (第 2 〜 8 章) では、多腕バンディット問題、有限マルコフ決定過程、動的計画法、モンテカルロ法、 TD 学習、 n ステップ・ブートストラップ法、プランニングと学習を、状態や行動を表として持てる小さな設定で扱います。核となる考え方を単純な設定で身につけさせることが、版元紹介文の言う第 I 部の狙いです。第 II 部「近似による解法」 (第 9 〜 13 章) はそれらを関数近似へ拡張し、方策オン型の予測と制御、方策オフ型手法、適格度トレース、方策勾配法へ進みます。第 III 部「さらに深く」 (第 14 〜 17 章) は心理学、神経科学、 AlphaGo などを含む応用と事例紹介、そして強化学習のこれからを論じる構成です。

価値関数と探索のジレンマ、強化学習の理論が難しい理由

強化学習が教師あり学習と決定的に違うのは、正解ラベルが与えられず、行動の良し悪しが遅れて届く報酬からしか分からない点です。そこで中心に据えられるのが、ある状態 (あるいは状態と行動の組) から先に得られる報酬の総和を見積もる価値関数と、それが満たすベルマン方程式です。動的計画法は環境のモデルが分かっている前提で価値関数を厳密に解き、モンテカルロ法はモデル無しで経験の平均から推定し、 TD 学習は途中の推定値を使って推定値を更新する (ブートストラップする) ことで両者の中間を取ります。この三者を一つの軸の上に並べて理解すると、第 I 部の各章の見通しが良くなります。多腕バンディット問題は、まだ試していない行動を探索するか、良いと分かっている行動を活用するかというジレンマを最小の設定で示す題材です。状態数が爆発する実問題では表を持てないため、価値関数や方策を ニューラルネットワーク などで近似する必要が生じますが、方策オフ型、ブートストラップ、関数近似の三つを同時に使うと学習が発散し得ることは強化学習理論の有名な難所で、深層強化学習の成功と不安定さの両方がこの構図の上にあります。第 II 部が扱うのはこの領域です。

第 2 版の加筆範囲と、原著第 2 版・旧版との関係

原著第 2 版は 2018 年に The MIT Press から刊行され、本書はその翻訳として森北出版から出ています (NDL の書誌にも原著第 2 版の翻訳と記載されています) 。森北出版からは同じ原著の旧版の邦訳も出ており、本書はその改訂版に当たります。旧版と比べたとき、版元が明記する変化は、発展的手法の解説と、心理学・神経科学との関係の紹介が大幅に加筆されたことです。第 III 部に心理学と神経科学の章が置かれ、 AlphaGo などのケーススタディと将来展望がそれに続く構成は、この加筆をそのまま反映しています。旧版で学んだ人が第 2 版を手にする意味は、まさにこの第 III 部と、関数近似を扱う第 II 部の内容にあります。

確率と線形代数の前提、実装優先の人には向かない点

前提として、確率論 (期待値・条件付き確率・マルコフ性) と線形代数、微分の基礎は必要です。理論を積み上げる教科書なので、機械学習 の一般的な入門書を一冊読んだ程度の土台があると、価値関数の更新式や方策勾配法の議論を追えます。 Python の実装例を写しながら覚えたい人、まず動くエージェントを作って感触をつかみたい人には、実装から入る類書 (例: 『ゼロから作る Deep Learning ❹ 強化学習編』) の方が近道です。また、深層強化学習の個別アルゴリズム (DQN や PPO など) の実装詳細を辞書的に引きたい目的にも、基礎理論の教科書という性格上、本書は直接は応えません。

元が取れるのは、強化学習を研究テーマにする学生、論文を読むときに TD 誤差や方策オフ型といった用語を定義から理解しておきたい技術者、そして深層強化学習のライブラリを使っていて「なぜ学習が不安定になるのか」を原理から説明できるようになりたい実務者です。手を動かす本を先に読んだ人が次に一冊だけ理論書を選ぶなら、本書が第一候補になります。読み終えれば、強化学習の論文や実装解説を読むための足場が固まります。分野の発展を担った著者自身の言葉で書かれた教科書を日本語で読めることは、それ自体が大きな価値です。