Scratch で AI を学ぼう ゲームプログラミングで強化学習を体験

オリジナルの Scratch ゲームを使って
楽しみながら AI・強化学習を学べる

●「どんどん賢くなる AI」を 3 つのゲームで習得
●Scratch 強化ゲームの全プログラム収録
●拡張モジュール不要! 使うのは Scratch 標準機能のみ

強化学習とは、AI の機械学習の一種で、簡単に言えば試行錯誤の学習です。
「強化」という言葉は、動物心理学で昔から使われている用語でもあり、
私たち人間や動物も強化学習をしています。赤ちゃんは自分で寝返りを覚え、
ハイハイを覚え、いずれ立ち上がります。

産業界では空前の AI・機械学習ブームです。2016 年には、強化学習が
囲碁で世界トップレベルのプロ棋士に勝つという快挙がありました。
ところが、強化学習の本はあまりありません。難しい概念や見慣れない
記号を使わざるを得ないので、難しく見えるからでしょう。しかし本来、
強化学習のアイデア自体はシンプルで、直感的には誰にでも分かるものです。

そこで、数学の知識を中学までの範囲に限定し、教育用プログラム言語
の Scratch で作ったゲームを題材にした入門書を作りました。本書では強
化学習を 3 レベルに分け、レベルごとにオリジナルの Scratch ゲームを使
いながら、それをプレイする強化学習 AI をていねいに解説していきます。

『Scratch で AI を学ぼう ゲームプログラミングで強化学習を体験』 (伊藤 真 著、日経 BP 発行、日経 BP マーケティング発売、2020 年 8 月刊) は、教育用のプログラミング言語 Scratch で作ったオリジナルのゲームを題材に、強化学習の考え方を学ぶ入門書です。版元の紹介文によれば、使う数学の知識は中学までの範囲に限られ、拡張モジュールを使わずに Scratch の標準機能だけでプログラムを組みます。数式や見慣れない記号で入門をあきらめた人が、ゲームを動かしながら試行錯誤の学習の仕組みをつかむための 1 冊です。

3 つのゲームで段階を上げる全 7 章の構成

1 章「強化学習を始めよう」で強化学習と AI の関係や歴史を概観し、2 章「Scratch の使い方」でアカウントの作成から作品の保存、リミックスまでを、3 章「Scratch プログラムの作り方」で練習用の作品を例にスプライトや変数の扱いを押さえます。本題は 4 章から 6 章で、強化学習を 3 つのレベルに分け、レベルごとに専用のゲームを用意しています。4 章「レベル 1・砂漠でダイヤ集めゲーム」は行動と報酬、期待値と報酬予測の学習則を、5 章「レベル 2・月面でダイヤ集めゲーム」はそこに状態を加え、6 章「レベル 3・お化けの飛行訓練ゲーム」は巡回する状態での最適な行動と割引率を扱います。各レベルの章には、プログラムを改変するためのヒントの節も置かれています。7 章「まとめ」でエージェントと環境、強化学習の目的、Q 学習の初期化と行動選択と学習を整理し直し、付録 A から C に 3 つのゲームのコードを収めています。

行動の価値を見積もり直す Q 学習の考え方

強化学習 は、正解のラベルを与える代わりに、行動の結果として得られる報酬を手がかりに振る舞いを改善していく 機械学習 の一分野です。その代表的な手法である Q 学習では、ある状況である行動を選んだときに将来どれだけの報酬が見込めるかという値を表として持ち、実際に得た報酬と次の状況での見込みを使って、その値を少しずつ見積もり直します。遠い先の報酬ほど割り引いて足し合わせるのが割引率の役割で、これが無いと、すぐには報酬が出ないが最終的に得をする行動を学べません。本書の 3 段階は、状態を持たない単純な場面、状態の区別、先の報酬を見通す割引の考え方の順です。

著者の研究の背景

刊行時の著者プロフィールによれば、著者は 2000 年に東北大学大学院で動物のナビゲーション行動の数理モデルの研究により情報科学の博士号を取得しました。2004 年から 2016 年までは沖縄科学技術大学院大学の神経計算ユニットで脳活動のデータの収集と解析に従事し、動物の行動と脳活動を強化学習モデルで説明する研究を行いました。2017 年からは民間企業で人工知能の産業利用に携わっています。

本書は Scratch の画面上で完結し、Python のライブラリを使った深層強化学習の実装や、理論を数式で厳密に追う内容は扱いません。機械学習の本は 機械学習と AI の技術書ガイド で整理しています。