リザバーコンピューティング

深層学習時代の注目技術、初の解説書!

「リザバーコンピューティング」は、深層学習 (ディープラーニング) の最大の難点である「計算コスト」の問題を克服すべく精力的に研究が進められ、
・直近では、時系列パターン認識用の高速機械学習手法として、
・近い未来には、高効率な機械学習デバイスの基礎原理として、
・将来的には、「AI ハードウェアの基盤」になりうる技術として、
高い期待を集めています。

本書では、この技術を数理・アルゴリズムの視点 (ソフトウェア実装) とデバイス開発・実装の視点 (ハードウェア実装) の両面から解説。読者のバックグラウンド・モチベーションを問わず入門できるよう、ニューラルネットの原理や、デバイス・ハードウェア選定の発想から順を追って紐解きます。時系列パターン認識問題への実行例を Python サンプルコードとともに示し、リザバーコンピューティングの「使い方」も体感しながら読み進められるよう配慮されています。
第 1 章 はじめに
第 2 章 人工ニューラルネットワーク
第 3 章 エコーステートネットワーク
第 4 章 時系列パターン認識の基礎問題
第 5 章 時系列パターン認識の応用問題
第 6 章 リキッドステートマシン
第 7 章 物理リザバーコンピューティング
第 8 章 物理リザバーコンピューティングの要素技術
第 9 章 将来展望

『リザバーコンピューティング』 (田中 剛平、中根 了昌、廣瀬 明 著、森北出版、2021 年 3 月刊) は、時系列データを高速に学習できる機械学習の手法であるリザバーコンピューティングを、数理とアルゴリズムの側と、デバイスやハードウェアの側の両面から解説した書籍です。副題は「時系列パターン認識のための高速機械学習の理論とハードウェア」で、版元の紹介文ではこの技術の初の解説書と位置づけられています。ニューラルネットの原理から順を追って説明し、時系列パターン認識の実行例を Python のサンプルコードとともに示す構成のため、手法の考え方と使い方を同じ一冊で押さえたい人に向いています。

リザバーは学習せず出力の重みだけを解く仕組み

時系列を扱うリカレント型の ニューラルネットワーク は、過去の入力の影響を内部状態として持ち越せる一方で、学習には時間方向に展開した誤差逆伝播が必要になり、計算量が大きく、勾配の消失や発散にも悩まされます。リザバーコンピューティングはこの難しさを構造で回避します。入力を受け取る再帰結合の部分 (リザバー) の重みはランダムに決めたまま固定し、リザバーの状態から答えを読み出す出力層の重みだけを学習するため、学習は線形回帰の一回の計算で済みます。リザバーに求められるのは、入力を高次元の状態へ非線形に写し、過去の入力の影響をほどよく減衰させながら保持することです。この条件さえ満たせば、リザバーはコンピューター上の数値計算である必要がなく、光や電子、スピンなど物理系の振る舞いそのものを計算資源として使えます。これが物理リザバーコンピューティングの発想で、深層学習 の計算コストの重さに対して、少ない電力で学習と推論を行う機械学習デバイスの基礎原理として研究されている理由です。

全 9 章の構成、エコーステートネットワークから物理実装まで

目次は第 1 章の「はじめに」から第 9 章の「将来展望」までの全 9 章です。第 2 章の人工ニューラルネットワークで土台を整えたうえで、第 3 章でリザバーコンピューティングの代表的なモデルであるエコーステートネットワークを扱い、第 4 章と第 5 章で時系列パターン認識の基礎問題と応用問題へ進みます。紹介文は、Python のサンプルコードによる実行例を示すと説明しています。第 6 章はスパイキングニューロンを用いた系統のモデルとして知られるリキッドステートマシンを取り上げ、第 7 章と第 8 章では物理リザバーコンピューティングとその要素技術へと、ハードウェア実装の側に軸足を移します。アルゴリズムだけ、あるいはデバイスだけを扱う本ではなく、両者を一続きの章立てでつないでいる点が本書の構成上の特徴です。

数理とデバイスのどちらから入る人にも向く前提知識

版元の紹介文は、読者のバックグラウンドや動機を問わず入門できるよう、ニューラルネットの原理やデバイス選定の発想から順に解説すると説明しています。情報系の人はアルゴリズムの章から、電子工学や物性の人はデバイスの章から入りやすい組み立てです。それでも、行列とベクトルの計算や微分方程式で状態の時間変化を表す書き方に慣れていると、モデルの式を追う負担は軽くなります。数学の足場に不安がある場合は、機械学習に必要な数学の本 を併読すると補えます。一方、画像認識や大規模言語モデルのような深層学習のフレームワーク実装を学びたい人には、本書は目的が合いません。そうした用途で一冊を探すなら ディープラーニング本の選び方 から系統を絞るほうが近道です。また 2021 年時点の研究状況を前提にした本なので、個々のデバイス研究の進展は論文で補う前提で読むのが適切です。

センサーから流れてくる時系列データを小さな計算資源で学習させたい開発者、機械学習をハードウェアの側から実現する研究テーマを探している学生や技術者、深層学習とは別の系統の学習手法を一度体系的に押さえておきたい研究者にとって、ソフトウェアとハードウェアの両面を一冊でつないだ本書は、分野に入るための足場として元の取りやすい一冊です。