ニューロモルフィックコンピューティング

◆AI 技術の高度化に不可欠なニューロチップの基礎となる脳型 (ニューロモルフィック) コンピューティングを詳説!
◆ハードウェアニューラルネットワークの構築に必要なアルゴリズムとハードウェアの協調設計、協調最適化の方法論をまとめた、類を見ない 1 冊!
◆AI 技術の最新動向、ハードウェア実装に関心のある研究者や技術者、学生などに。

【主な目次】
第 1 章 概要
第 2 章 人工ニューラルネットワークの基礎
第 3 章 ハードウェアにおける人工ニューラルネットワーク
第 4 章 スパイキングニューラルネットワークの動作原理
第 5 章 スパイキングニューラルネットワークのハードウェア実装
第 6 章 結論
付録
序文
謝辞
第 1 章 概要
1.1 ニューラルネットワークの歴史
1.2 ソフトウェアにおけるニューラルネットワーク
1.3 ニューロモルフィックハードウェアの必要性
1.4 本書の目的と概略
参考文献
第 2 章 人工ニューラルネットワークの基礎
2.1 人工ニューラルネットワークの動作原理
2.2 ニューラルネットワークに基づく機械学習
2.3 ネットワークトポロジー
2.4 データセットとベンチマーク
2.5 深層学習
参考文献
第 3 章 ハードウェアにおける人工ニューラルネットワーク
3.1 概要
3.2 汎用プロセッサ
3.3 デジタルアクセラレータ
3.4 アナログ・ミックスドシグナルアクセラレータ (analog/mixed-signal accelerators)
3.5 事例研究: 適応型動的計画法 (ADP) のためのエネルギー効率の高いアクセラレータ
参考文献
第 4 章 スパイキングニューラルネットワークの動作原理
4.1 スパイキングニューラルネットワーク
4.2 浅い層を持つ SNN における学習
4.3 深層 SNN での学習
第 4 章 付録: Multi-timescale adaptive threshold モデル (MAT モデル)
4.付.1 Leaky Integrate and Fire モデル
4.付.2 MAT モデル
4.付.3 スパイキングニューロンモデルの比較
参考文献
第 5 章 スパイキングニューラルネットワークのハードウェア実装
5.1 特殊化したハードウェアの必要性
5.2 デジタル SNN (digital SNN)
5.3 アナログ/ミックスドシグナル SNN (analog/mixed-signal SNN)
参考文献
第 6 章 結論
6.1 展望
6.2 結論
参考文献
付録
付.1 ポップフィールドネットワーク
付.2 ポップフィールドネットワークによるメモリの自己修復
参考文献
索引

ニューラルネットワークをソフトウェアではなく専用のハードウェアで省エネルギーに動かすために、アルゴリズムと回路をどう組み合わせて設計するかを扱う専門書です。『ニューロモルフィックコンピューティング』は Nan Zheng 氏と Pinaki Mazumder 氏による原著 Learning in Energy-Efficient Neuromorphic Computing: Algorithm and Architecture Co-Design の日本語版で、小林 亮太氏と新津 葵一氏が監訳し、大前 奈月氏が翻訳を担当しました。版元はエヌ・ティー・エスで、発刊は 2022 年 3 月です。副題は「省エネルギーな機械学習のハードウェア実装に向けて」で、版元は本書を、ハードウェアニューラルネットワークの構築に必要なアルゴリズムとハードウェアの協調設計と協調最適化の方法論をまとめた本と紹介し、ハードウェア実装に関心のある研究者や技術者、学生を読者に挙げています。刊行時の版元の紹介では、監訳者の 2 人は東京大学大学院と名古屋大学大学院の准教授と紹介されています。

全 6 章の構成、人工ニューラルネットワークの基礎から SNN の実装まで

本文は第 1 章「概要」から第 6 章「結論」までの全 6 章と付録で構成されます。第 2 章「人工ニューラルネットワークの基礎」は推論と学習、教師あり学習と強化学習と教師なし学習、全結合と畳み込みと再帰型のネットワーク、深層学習を整理し、第 3 章「ハードウェアでの人工ニューラルネットワーク」は汎用プロセッサー、デジタル ASIC と FPGA のアクセラレータ、アナログとミックスドシグナルのアクセラレータを比べたうえで、適応型動的計画法のためのアクセラレータを事例研究として取り上げます。第 4 章「スパイキングニューラルネットワークの動作原理」はニューロンのモデルと情報の符号化、浅い層と深層の SNN での学習を扱い、第 5 章「スパイキングニューラルネットワークのハードウェア実装」では、大規模な SNN の ASIC として SpiNNaker、TrueNorth、Loihi を、アナログとミックスドシグナルの大規模な実装として CAVIAR、BrainScaleS、Neurogrid を取り上げ、メモリスタのクロスバーを使う学習の事例研究で締めくくります。版元の詳細目次の注記によれば、第 4 章の付録にある MAT モデルの解説は原著になく、権利者の了承のもとで訳者が追記したものです。巻末の付録はホップフィールドネットワークとそれによるメモリの自己修復を扱います。

データ移動の電力とイベント駆動という技術背景

この分野がハードウェアの設計から問題を立てるのには理由があります。深層学習 の推論や学習では、演算そのものよりも、重みや中間結果をメモリと演算器の間で行き来させるデータ移動に多くの電力が使われます。第 3 章が扱うメモリの近くで計算する方式や、不揮発性メモリのクロスバーで積和演算をまとめて行う方式は、この移動を減らすための工夫です。一方、ニューラルネットワーク の一種である SNN は、ニューロンが発火したときだけ短いパルスを送るため、入力に変化がない間はほとんど計算が起きないイベント駆動の動作になります。ここに省エネルギーの余地がある反面、スパイクは微分できない離散的な信号なので、通常の誤差逆伝播をそのまま使えないという難しさが生じます。第 4 章では STDP や ANN から SNN への変換 (4.2.3 / 4.3.3)、第 5 章では学習則をハードウェアに載せるときのメモリ構成 (5.1.4) が扱われます。

研究者や技術者、学生に合う読み方と、合わない目的

想定される読者は、版元が挙げるとおり、ニューラルネットワークのハードウェア実装に関心のある研究者や技術者、学生です。数式とアーキテクチャの議論が中心なので、回路設計の経験があって機械学習の側を補いたい人、あるいは機械学習の研究者でハードウェアの制約を理解したい人が、それぞれ足りない側を埋める読み方に向きます。第 2 章の学習の整理には 強化学習 の事例が含まれ、第 5 章にもハードウェアに親和性のある強化学習の節があるので、制御や意思決定の応用まで視野に入れる読者にも手がかりがあります。反対に、深層学習のフレームワークの使い方を学びたい人や、ニューロモルフィックという概念の概観だけを知りたい人には、内容の密度が目的に合いません。原著の刊行は版元の表記で 2020 年なので、取り上げられるチップや研究はその時点までの事例として読む必要があります。そのうえで、省電力なニューロチップの設計を研究や開発の主題にする人が、アルゴリズムと回路の両面の論点を 1 冊でそろえたいときに頼れる専門書です。