TensorFlow による深層強化学習入門

TensorFlow で強化学習を実践!
アルファ碁などのゲーム AI やロボットアームの制御、自動運転などで注目されている深層強化学習の基本と実装について、Python と TensorFlow、シミュレータとして OpenAI gym と PyBullet を用いて解説したもの。
深層学習、強化学習のアルゴリズムを一歩一歩ていねいに解説し、RaspberryPi＋Arduino を用いた実応用までを扱っています。

深層強化学習を、理論の説明だけで終わらせず、Python のコードでシミュレータの中のエージェントを動かし、最後は小型のコンピューターとマイコンをつないだ実機にまで持ち込んで学ぶ入門書です。『TensorFlow による深層強化学習入門』 (牧野 浩二、西崎 博光 著、オーム社、2021 年 2 月 17 日発売) は、副題が「OpenAI Gym+PyBullet によるシミュレーション」で、Python と TensorFlow の強化学習ライブラリ TF-Agents を使い、シミュレータとして OpenAI Gym と PyBullet を用いて解説すると版元が案内しています。深層学習と強化学習のアルゴリズムを一歩ずつ説明し、Raspberry Pi と Arduino を用いた実応用までを扱う構成です。

深層学習、強化学習、深層強化学習の順に積む 5 章

版元が示す主要目次は 5 章です。第 1 章「はじめに」のあと、第 2 章「深層学習」、第 3 章「強化学習」と 2 つの土台を別々に固め、第 4 章「深層強化学習」でそれを組み合わせ、第 5 章「実環境への応用」で実機へ進みます。深層強化学習の本には、強化学習の理論から入ってニューラルネットワークを後から足す並びのものもありますが、本書は 深層学習 と強化学習をそれぞれ章として立ててから合流させる並びで、どちらか一方に慣れている読者も、足りない側の章から入りやすい形です。本書で取り上げたサンプルプログラムとデータファイルは、版元のページから圧縮ファイルでダウンロードできます。

シミュレータで試行錯誤させる理由と、実機に移す難しさ

強化学習の枠組み では、エージェントが行動を選び、環境から返ってくる報酬を手がかりに、長い目で見て報酬が大きくなる行動の選び方を試行錯誤で身に付けます。深層強化学習は、その選び方や行動の価値の見積もりをニューラルネットワークで表すことで、画面の画像やロボットの関節角のように状態の種類が膨大な問題にも手が届くようにした手法です。ただし学習には膨大な試行が要り、ロボットを実際に何万回も動かすのは時間もかかれば機械も傷みます。そこで、ゲームや制御の課題を共通の形で呼び出せる OpenAI Gym や、物体の動きと衝突を計算する物理シミュレータ PyBullet の中で先に学習させるのが定石になっています。シミュレータの中ではうまく動く方策も、実機ではセンサーの雑音や摩擦の違いでずれることが多く、この隔たりをどう扱うかが実応用の難しさです。本書が締めくくりに実環境への応用の章を置き、Raspberry Pi と Arduino を用いた実応用まで扱っている点は、この最後の段差に読者が自分で向き合うための材料になります。

2021 年刊のサンプルを動かすときに確かめたいこと

刊行は 2021 年 2 月なので、本書のサンプルはその時点のライブラリを前提に書かれています。TensorFlow や TF-Agents は版が上がるたびに使い方の細部が変わることがあり、OpenAI Gym はその後、Farama Foundation が保守を引き継いだ Gymnasium へ移っています。Gymnasium の公式ドキュメントは、自らを Gym ライブラリを引き継いで保守されている派生版と位置づけ、旧 Gym の環境から移すための案内を用意しています。手元の環境で動かすときは、本書の注意事項とダウンロードしたプログラムの前提を確かめたうえで、同じ版のライブラリを仮想環境にそろえるか、移行の案内を見ながら書き換えるかを最初に決めておくと、つまずきにくくなります。

ロボットやゲーム AI を作る開発者に向く理由と、向かない目的

版元は、深層学習や強化学習に興味のある IT エンジニアと、ロボットや産業用ロボットの開発者、ゲーム AI の開発者を対象に挙げています。強化学習を本で読んだだけで終わらせず、エージェントが学習していく様子をシミュレータで確かめ、さらに手元の機械を動かすところまで一続きで経験したい人に合う一冊です。一方、強化学習の理論を数式から厳密に追いたい場合や、PyTorch を主に使っていて同じ内容をそちらで書きたい場合は、理論書や別のフレームワークを使う本のほうが目的に近くなります。ディープラーニング本の選び方 も参考にしながら、手を動かして深層強化学習の全体像をつかみたい人、特に電子工作の経験があり実機につないでみたい人にとって、シミュレーションから実機までの道筋を 1 冊で通せる点が本書を選ぶ理由になります。