「強化学習」を学びたい人が最初に読む本

「強化学習」とは、簡単に言えば、「試行錯誤によって学習する AI」です。
機械学習の一種で、近年のディープラーニングの発展の恩恵を受け、注目されています。

本書は、基本のアルゴリズムからニューラルネットを使った応用まで、
強化学習の理論と実装がわかる本です。

強化学習がどんな仕組みの AI なのか、
これから学んでみたいという人や
興味はあるけれど難しそうだと思っている人におすすめです。

【本書の特徴】

●強化学習の難解な理論をやさしく解説
難しい用語や数式は、高校数学の知識があれば理解できるように一歩一歩説明します。教師あり学習やニューラルネットワークなど、機械学習の前提知識も解説しています。

●画面上のロボットを動かすことで直観的に理解
強化学習の問題や学習結果は、画面上のロボットが動くアニメーションで確認できます。プログラムを実行するための環境構築や操作方法の説明があるので、すぐに動かすことができます。

●Python で強化学習のプログラムを改良
サンプルプログラムは軽量で、一般的な PC (GPU などが装備された PC は不要) で動かせます。強化学習のライブラリは使用せずに実装されており、ブラックボックス化されていないのでアルゴリズムがよくわかります。本書では、サンプルプログラムを自分で改良するためのポイントや、Python の基本、主要ライブラリ (NumPy、matplotlib、OpenCV、TensorFlow) の一部の使い方を紹介しています。
1 章 強化学習の位置づけ
2 章 Python の環境構築
3 章 教師あり学習
4 章 強化学習の問題設定
5 章 基本の Q 学習: tableQ
6 章 ニューラルネット Q 学習: netQ
7 章 経験再生を取り入れた Q 学習: replayQ、targetQ
8 章 改良と工夫

講座 A Visual Studio Code のインストールと使い方
講座 B Python の基本

Python のコードを動かしながら強化学習の基本を身につけるための入門書が『「強化学習」を学びたい人が最初に読む本』です。著者は伊藤 真で、日経 BP が発行し、日経 BP マーケティングが発売しています。書店発売日は 2021 年 11 月です。版元の紹介文は本書を、基本のアルゴリズムからニューラルネットを使った応用まで、強化学習の理論と実装がわかる本と説明し、これから学んでみたい人や、興味はあるけれど難しそうだと思っている人に向けています。

全 8 章と講座 2 本、表の Q 学習から経験再生まで

目次は第 1 章「強化学習の位置づけ」から始まり、第 2 章「Python の環境構築」、第 3 章「教師あり学習」、第 4 章「強化学習の問題設定」と、前提を固める章が続きます。第 5 章「基本の Q 学習: tableQ」、第 6 章「ニューラルネット Q 学習: netQ」、第 7 章「経験再生を取り入れた Q 学習: replayQ、targetQ」で 1 つの手法を段階的に発展させ、最後の第 8 章「改良と工夫」で閉じます。巻末には講座 A「Visual Studio Code のインストールと使い方」と講座 B「Python の基本」が付きます。版元の紹介文によれば、問題や学習の結果は画面上のロボットが動くアニメーションで確かめられ、サンプルプログラムは GPU を備えていない一般的な PC で動かせます。強化学習のライブラリを使わずに実装されているため、アルゴリズムの中身が隠れないことも特徴として挙げられています。

表からニューラルネットへ、Q 学習を広げる理由

強化学習 では、エージェントが状態を観測して行動を選び、環境から受け取る報酬の合計が大きくなるように行動の選び方を学びます。Q 学習は、状態と行動の組ごとに将来得られる報酬の見込み (Q 値) を推定し、試行のたびにその見込みを更新していく手法です。状態の数が少なければ Q 値を表に書き込むだけで済みますが、画面の状態のように取りうる値が膨大になると表は現実的な大きさに収まりません。そこで Q 値を ニューラルネットワーク で近似し、見たことのない状態でも似た状態から見込みを推し量れるようにします。ただし、続けて得られる経験は互いに似ているため、そのまま順に学習させると推定が不安定になりがちです。過去の経験をためておいて無作為に取り出して学ぶ経験再生と、学習の目標となる値を一定期間固定するための別のネットワーク (ターゲットネットワーク) は、この不安定さを抑えるための工夫です。第 5 章から第 7 章の章題に並ぶ tableQ、netQ、replayQ と targetQ は、この流れに沿った名前になっています。

高校数学と Python の基本から入る前提

版元は、難しい用語や数式を高校数学の知識があれば理解できるように一歩一歩説明し、教師あり学習やニューラルネットワークといった機械学習の前提知識も解説していると案内しています。Python の基本や、NumPy、matplotlib、OpenCV、TensorFlow の一部の使い方も紹介されているので、機械学習を初めて学ぶ段階からでも入口に立てます。刊行時の著者プロフィールでは、伊藤 真は動物のナビゲーション行動の数理モデルの研究で情報科学博士を取得し、2004 年から 2016 年まで沖縄科学技術大学院大学の神経計算ユニットで、動物の行動と脳活動を強化学習モデルで説明する研究に携わったと紹介されています。

一方で、章題に名前が出る手法は Q 学習の系統です。方策を直接学ぶ手法も含めて強化学習の手法を広く見渡したい場合や、強化学習のライブラリを使った応用の作り方を知りたい場合は、別の本と組み合わせると目的に近づきます。機械学習の分野全体から次の一冊を選ぶ時は、機械学習とディープラーニングの本の選び方 が参考になります。

強化学習という言葉は知っていても仕組みを自分のコードで確かめたことがない人、ライブラリに任せる前にアルゴリズムの中身を一度手で組んで理解しておきたい人にとって、手元の PC で動くサンプルを改良しながら Q 学習を一段ずつ積み上げられる本書は、最初の一冊として選びやすい本です。