現場で使える! Python 深層強化学習入門 強化学習と深層学習による探索と制御

注目の最新 AI 技術! 深層強化学習の開発手法がわかる!

第一線で活躍する著者陣の書下ろしによる待望の 1 冊!

【本書の目的】

AlphaGo (アルファ碁) でも利用されている深層強化学習。

AI サービスのみならずロボティクス分野でもその応用が期待されています。

本書は、AI 開発に携わる第一線の著者陣が深層強化学習の開発手法について書き下ろした注目の 1 冊です。

【本書の特徴】

第 1 部では、まず、深層強化学習の概要について説明します。

次いで、強化学習の基礎 (Q 学習、方策勾配法、Actor-Critic 法) と深層学習の基礎 (CNN、RNN、LSTM) を解説します。

さらに、簡単な例題として倒立振子制御を取り上げ、DQN と Actor-Critic 法による実装例を紹介します。

第 2 部では、具体的な応用例として 3 つのアプローチを実装込みで解説します。

1 つ目は、連続動作制御です。ヒューマノイドシミュレータの 2 足歩行制御を試みます。

2 つ目は、パズル問題の解法です。巡回セールスマン問題 (TSP) やルービックキューブの解探索について説明します。

3 つ目は、系列データ生成です。文書生成 (SeqGAN) やニューラルネットワークのアーキテクチャ探索 (ENAS) を解説します。

全体を通して、行動の制御を担うエージェントのモデル化と、方策ベースの強化学習によるエージェントの学習法について学ぶことができます。

【読者が得られること】

深層強化学習による開発手法を学ぶことができます。

【対象読者】

深層強化学習を学びたい理工学生・エンジニア

■Part 1 基礎編

CHAPTER 1 強化学習の有用性

1.1 機械学習の分類

1.2 強化学習でできること

1.3 深層強化学習とは

CHAPTER 2 強化学習のアルゴリズム

2.1 強化学習の基本概念

2.2 マルコフ決定過程とベルマン方程式

2.3 ベルマン方程式の解法

2.4 モデルフリーな制御

CHAPTER 3 深層学習による特徴抽出

3.1 深層学習

3.2 畳み込みニューラルネットワーク (CNN)

3.3 再帰型ニューラルネットワーク (RNN)

CHAPTER 4 深層強化学習の実装

4.1 深層強化学習の発展

4.2 行動価値関数のネットワーク表現

4.3 方策関数のネットワーク表現

■Part 2 応用編

CHAPTER 5 連続制御問題への応用

5.1 方策勾配法による連続制御

5.2 学習アルゴリズムと方策モデル

5.3 連続動作シミュレータ

5.4 アルゴリズムの実装

5.5 学習結果と予測制御

CHAPTER 6 組合せ最適化への応用

6.1 組合せ最適化への応用について

6.2 巡回セールスマン問題

6.3 ルービックキューブ問題

6.4 まとめ

CHAPTER 7 系列データ生成への応用

7.1 SeqGAN による文章生成

7.2 ネットワークアーキテクチャの探索

APPENDIX 開発環境の構築

AP1 Colaboratory による GPU の環境構築

AP2 Docker による Windows での環境構築

『現場で使える! Python 深層強化学習入門 強化学習と深層学習による探索と制御』 (伊藤 多一ほか 著、翔泳社、2019 年 8 月刊) は、深層強化学習の基礎のアルゴリズムから応用の実装までを Python で扱う、翔泳社の AI & TECHNOLOGY シリーズの一冊です。深層強化学習は、試行錯誤から行動の決め方を学ぶ強化学習に、深層学習で作った関数の近似を組み合わせた手法です。国立国会図書館の書誌では、著者は伊藤 多一、今津 義充、須藤 広大、仁ノ平 将人、川﨑 悠介、酒井 裕企、魏 崇哲の 7 名と記録されています。版元は、深層強化学習を学びたい理工学生とエンジニアを対象に挙げています。

Part 1 基礎編、ベルマン方程式から深層強化学習の実装まで

本書は 2 部構成です。Part 1 の基礎編は CHAPTER 1「強化学習の有用性」で機械学習の分類と強化学習でできることを整理し、CHAPTER 2「強化学習のアルゴリズム」でマルコフ決定過程とベルマン方程式、その解法、モデルフリーな制御へ進みます。CHAPTER 3「深層学習による特徴抽出」は畳み込みニューラルネットワーク (CNN) と再帰型ニューラルネットワーク (RNN) を、CHAPTER 4「深層強化学習の実装」は行動価値関数と方策関数のそれぞれのネットワーク表現を扱います。版元の紹介文によると、強化学習の基礎として Q 学習、方策勾配法、Actor-Critic 法を、深層学習の基礎として CNN、RNN、LSTM を解説したうえで、倒立振子の制御を例に DQN と Actor-Critic 法の実装例と検証結果を示す流れです。価値ベースの手法は、DQN のように行動の価値を 深層学習 のネットワークで近似する 強化学習 の手法です。方策ベースの手法は、方策勾配法のように行動を選ぶ確率の分布そのものを学ぶ手法です。

Part 2 応用編、2 足歩行と組合せ最適化と系列データ生成

Part 2 の応用編は、版元の紹介文が幅広い応用が期待されると述べる方策ベースの手法を取り上げ、3 つの課題に実装込みで当てはめます。CHAPTER 5「連続制御問題への応用」はヒューマノイドのシミュレーターでの 2 足歩行制御を、方策勾配法による連続制御、学習アルゴリズムと方策モデル、連続動作シミュレータ、アルゴリズムの実装、学習結果と予測制御の順に扱います。CHAPTER 6「組合せ最適化への応用」は巡回セールスマン問題とルービックキューブ問題、CHAPTER 7「系列データ生成への応用」は SeqGAN による文章生成と、ニューラルネットワークのアーキテクチャの探索 (ENAS) です。

APPENDIX 開発環境の構築と版元の追加情報

APPENDIX「開発環境の構築」は、Colaboratory による GPU の環境構築と、Docker による Windows での環境構築の 2 本です。版元の追加情報には、Docker ToolBox の更新にともなってソースコードのフォルダーをコンテナにマウントできなくなる不具合と、その対処の手順が載っています。

本書は、強化学習の基礎から 2 足歩行、組合せ最適化、系列データ生成の応用までを Part 1 基礎編と Part 2 応用編、APPENDIX に収めています。