強化学習

理論は裏切らない
・強化学習で必要になる数理を広くカバーした。
・一貫したていねいな解説なので、じっくり読める。付録・参考文献も充実!
・ベルマン方程式、TD 学習、方策勾配、POMDP、深層強化学習をより深く!

【おもな内容】
第 1 章 準備
1.1 強化学習とは
1.2 マルコフ決定過程と逐次的意思決定問題
1.3 方策
1.4 逐次的意思決定問題の定式化

第 2 章 プランニング
2.1 準備
2.2 動的計画法
2.3 動的計画法による解法
2.4 線形計画法による解法

第 3 章 探索と活用のトレードオフ
3.1 概要
3.2 探索と活用のトレードオフ
3.3 方策モデル

第 4 章 モデルフリー型の強化学習
4.1 データにもとづく意思決定
4.2 価値関数の推定
4.3 方策と行動価値関数の学習
4.4 収束性
4.5 アクター・クリティック法

第 5 章 モデルベース型の強化学習
5.1 問題設定の整理
5.2 環境推定
5.3 ブラックボックス生成モデルに対するプランニング
5.4 オンラインのモデルベース型強化学習

第 6 章 関数近似を用いた強化学習
6.1 概要
6.2 価値関数の関数近似
6.3 方策の関数近似

第 7 章 部分観測マルコフ決定過程
7.1 部分観測マルコフ決定過程 (POMDP) の基礎
7.2 POMDP のプランニング
7.3 POMDP の学習

第 8 章 最近の話題
8.1 分布強化学習
8.2 深層強化学習

付録 A 補足
A.1 証明
A.2 ノルム
A.3 線形計画法
A.4 自然勾配法の補足
準備
プランニング
探索と活用のトレードオフ
モデルフリー型の強化学習
モデルベース型の強化学習
関数近似を用いた強化学習
部分観測マルコフ決定過程
最近の話題

報酬を手がかりに行動のルールを学ぶ 強化学習 を、アルゴリズムの紹介ではなく数理の側から一貫して組み立て直したい人のための教科書です。『強化学習』 (森村 哲郎 著、講談社、2019 年 5 月刊) は機械学習プロフェッショナルシリーズの一冊で、版元の紹介文は「理論は裏切らない」と掲げ、強化学習で必要になる数理を広くカバーし、ベルマン方程式、TD 学習、方策勾配、POMDP、深層強化学習を深く扱うと説明しています。書誌の英題は Reinforcement learning です。

全 8 章の構成、マルコフ決定過程から深層強化学習まで

本文は全 8 章に付録 A が続きます。第 1 章「準備」でマルコフ決定過程と逐次的意思決定問題、方策の考え方を定式化し、第 2 章「プランニング」では環境が既知の場合に動的計画法と線形計画法で最適な方策を求める解法を扱います。第 3 章は探索と活用のトレードオフと方策モデル、第 4 章はモデルフリー型の強化学習で、価値関数の推定から方策と行動価値関数の学習、収束性、アクター・クリティック法までが並びます。第 5 章はモデルベース型の強化学習、第 6 章は価値関数と方策の関数近似、第 7 章は部分観測マルコフ決定過程 (POMDP) の基礎とプランニング、学習を取り上げ、第 8 章で分布強化学習と深層強化学習に進みます。付録 A には証明、ノルム、線形計画法、自然勾配法の補足が収められています。

ベルマン方程式を軸に読むと見通しが立つ理由

強化学習の手法は Q 学習、SARSA、方策勾配、アクター・クリティックと名前が多く、個別に覚えると互いの関係が見えにくくなります。ところが大半の手法は、状態や行動の価値が「すぐ得られる報酬」と「次の状態の価値」の和で書けるというベルマン方程式を、どの量について、どのデータから、どう近似して解くかの違いとして整理できます。環境のモデルが分かっていれば動的計画法で解けますが、分からなければ経験から推定するモデルフリー型の TD 学習が必要になり、状態が膨大なら関数近似、状態そのものが観測できなければ POMDP へと問題設定が広がります。本書の章立てはこの拡張の順に沿っているため、新しい手法に出会ったときに、どの仮定を外したことで生まれた手法なのかを位置づけられるようになります。更新式がなぜ収束するのかを確かめたくなったときに、収束性の議論と付録の証明へ戻れる構成も、数理の本としての強みです。

確率と線形代数の前提、実装中心の入門書との使い分け

読み進めるには、確率と条件付き期待値、線形代数、微分の基礎に加え、機械学習 の基本的な用語に慣れていることが前提になります。紹介文と目次から読み取れるのは数理の解説に重心を置いた構成で、ライブラリを使ってエージェントを動かすまでの手順を追う作りではありません。まずはコードを書いてゲームやロボットの課題で学習を走らせたい人は、実装を中心にした入門書から入り、数式の意味が気になり始めた段階で本書へ移るほうが無理がありません。数学の準備から見直したい場合は、機械学習に必要な数学の本の選び方 で自分の段階に合う一冊を先に確認しておくと回り道を減らせます。

論文の更新式を自分で導き直したい大学院生や研究者、あるいは実務で強化学習を使っていて、手法の選択や失敗の原因を理論の言葉で説明できるようになりたいエンジニアにとって、本書は手元に置いて繰り返し参照する価値のある一冊です。マルコフ決定過程の定式化から深層強化学習までを同じ記法と流れで読み通せるので、ばらばらに覚えた知識を一本の体系にまとめ直したい人ほど、得るものが大きくなります。