強化学習

強化学習とは

強化学習 (Reinforcement Learning) は、試行錯誤を通じて「どう行動すれば報酬が最大になるか」を学習する機械学習の一分野だ。あらかじめ正解を与えるのではなく、環境の中で行動し、その結果として得られる報酬や罰を手がかりに、よりよい行動方針を自ら獲得していく。動物が経験から学ぶ過程に似ている。この分野の用語と枠組みは、Richard S. Sutton と Andrew G. Barto の『Reinforcement Learning: An Introduction』(第 2 版・MIT Press・2018 年) が事実上の共通言語になっており、以下の説明もその整理に沿う。

他の機械学習との違い

種類	学び方
教師あり学習	正解付きデータから学ぶ
教師なし学習	データの構造を自ら見つける
強化学習	行動と報酬の試行錯誤から学ぶ

教師あり学習が「正解を教わる」のに対し、強化学習は「やってみて、結果から学ぶ」点が本質的に異なる。

何に使われるか

強化学習が広く知られたきっかけは、囲碁での成果だった。Google DeepMind の AlphaGo は、同社の説明によれば 2015 年 10 月にプロ棋士との対局を 5 勝 0 敗で制し、2016 年 3 月にソウルで行われた対局では 4 勝 1 敗を収めている。自己対戦を繰り返して失敗から学ぶこの手法を、同社自身が強化学習と呼んでいる。ほかにも、ロボットの動作制御、自動運転、レコメンド、資源配分の最適化など、「連続した判断の積み重ねで成果が決まる」問題に応用される。2020 年代には、大規模言語モデルを人間の好みに沿わせる事後学習にも使われるようになった。ここでの工夫は、環境から返る報酬の代わりに「人間がどちらの出力を好むか」の順位付けを学習した報酬モデルを置き、その報酬が高くなる方向へ出力の方策を寄せる点にある。2022 年 3 月に公開された InstructGPT の論文 (Ouyang ら) は、人手で書いた模範解答による教師ありファインチューニングと、この報酬モデルを用いた強化学習 (RLHF) を組み合わせる手順を報告している。対話型 AI が頼んだ形で答えてくれる背後には、この段階の学習がある。

基本のことば

強化学習の議論は少数の用語で組み立てられる。学習する主体をエージェント、その相手をなす世界を環境と呼び、エージェントは環境の状態を観測し、行動を選び、報酬を受け取る。この繰り返しの中で「どの状態でどの行動を選ぶか」の指針である方策を改善していく。たとえば迷路を解くエージェントなら、状態は位置、行動は移動方向、報酬はゴール到達で与えられる得点だ。すぐの報酬と将来の報酬をどう天秤にかけるか、未知の行動をどこまで試すか (探索と活用のバランス) が、この枠組みの中心的な設計問題になる。

方策と対をなすもう一つの道具が価値関数だ。方策が「この状態でどう動くか」という規則であるのに対し、価値関数は「この状態 (あるいはこの状態でこの行動) を選んだ先で、報酬をどれだけ受け取れそうか」の見積もりで、目先の報酬ではなく将来の合計で行動を比べるために使う。将来の報酬をどれだけ割り引いて数えるかを決める係数 (割引率) が、近い報酬を優先する短気な学習者になるか、遠いゴールまで待てる学習者になるかを左右する。状態と行動の組ごとに価値を表に持ち、実際に得た報酬で少しずつ書き換えていく Q 学習は、この考え方をもっとも素朴な形にしたものだ。強化学習の難しさの中心は、良い行動の効果が何手も後に現れることであり、遅れて届いた報酬をどの行動の功績として割り振るかという問題を、価値関数の更新が引き受けている。

実用上の難しさ

強化学習は強力だが、実用化には固有の難しさがある。学習には膨大な試行回数が必要で、現実世界でそのまま試すのが危険・高コストな場合 (ロボットや自動運転) はシミュレーションが要る。また、報酬の設計を誤ると、意図しない「報酬の抜け道」を学習してしまう。何を報酬とするかが結果を決定づけるため、設計には慎重さが求められる。適用できる問題と、そうでない問題の見極めが重要になる。

最初に手を動かすなら、数マス四方の格子の一点をゴールに定め、位置を状態・上下左右を行動として、Q 学習の表を更新するだけの小さなプログラムから始めるとよい。学習が進んで経路が短くなる様子と、報酬の置き方を変えると行動がまるごと変わる様子が同じ画面で見えるため、報酬設計が結果を決めるという性質を実感できる。そこを確認してから深層学習と組み合わせた手法や既製のライブラリに進むと、学習がうまくいかないときに報酬設計とモデルのどちらを疑うかの切り分けができるようになる。