ゼロから作る Deep Learning ❹(ゼロカラツクルディープラーニングフォー)

超人気シリーズの第 4 弾ーー今回のテーマは強化学習!
人気シリーズの第 4 弾。今回のテーマは強化学習です。実際のコードを提示し動かしながら学ぶという本シリーズのスタイルを踏襲し、外部ライブラリに頼らず、強化学習を支える基本的な技術やアイデアをゼロから実装しながら学びます。本書では読者が強化学習独特の理論を確実にマスターできるように、強化学習という難解なテーマの構成要素の一つひとつを「理論」と「実践」の双方から丁寧に解説します。数式だけで説明する理論書とは異なり、読者はコードを通してハッとする気づきを数多く得られるでしょう。

シリーズ第 1 巻がニューラルネットワークの原理を自作で腑に落とす本だったのと同じ精神で、本書は強化学習を一から実装して理解する一冊です。マルコフ決定過程、動的計画法、モンテカルロ法、 TD 学習、そして方策勾配法と DQN に至るまで、 Python と NumPy だけでアルゴリズムを組み上げていきます。フレームワーク任せでは見えてこない「報酬がどう伝播し、方策がどう更新されるか」を手を動かして追体験する構成です。

強化学習は教師あり学習とは問題設定そのものが異なるため、別途の入門が必要になります。本書はシリーズの読者が期待する「理論を数式で追って、自分でコードに落とす」スタイルを強化学習に適用したものであり、数学的な厳密さよりも実装を通じた直観の獲得を優先しています。読み進めるには確率・期待値の基礎知識が必要ですが、第 1 巻を終えていれば接続は自然です。強化学習の全体像を把握したあと、 OpenAI Gym や本番の研究コードに進む足場として機能します。