基礎からのニューラルネット -人工知能の基盤技術ー

近年の「人工知能」 (AI) の普及は目覚ましく、スマホや家電、自動車などの我々の生活に密着したさまざまなツールに利用されています。
音声認識や機械翻訳など、非常に便利な機能を実現してくれる人工知能ですが、その根底にあるのが「機械学習」と「ニューラルネット」の技術です。

本書は、人工知能を支える基礎技術である「ニューラルネット」について、その歴史や仕組みを詳細に解説。

通り一遍の概要を知るだけにとどまらず、「ニューラルネット」を理解する上で重要な非常に多くの概念について、それらが必要である理由を、高校程度の数学を用いながら説明します。

第 1 章では、人工知能研究の歴史を簡潔にまとめます。
第 2 章は、最も基本的な「階層型ニューラルネット」 (パーセプトロン) の仕組みを詳説。
第 3 章では、物理学と人工知能研究の接点について述べ、末尾となる第 4 章は、「深層学習」の発展の原動力となった「畳み込みネットワーク」「回帰ネットワーク」「長・短期記憶」「トランスフォーマ」の本質に焦点を絞った簡潔な説明を狙います。
■ニューラルネットの歴史ー「パーセプトロン」から「深層学習」までー
はじめに
パーセプトロン
「線形非分離問題」と「深層化」
「深層学習」の誕生から現在まで

■階層型ニューラルネットモデル
脳神経網と「人工ニューラルネット」
「単層パーセプトロン」と「誤り訂正学習」
「損失関数」による限界突破
勾配消失問題
入力が複数の場合
階層型ニューラルネットモデルの万能性
「深層化」と「バックプロパゲーション」

■非階層型ニューラルネットモデル
「深層学習」の基礎技術
「階層型」と「非階層型」
Hopfield モデル
ボルツマンマシン
「非階層ニューラルネット」の事例

■「深層学習」への誘ない
「深層学習」の幕開け
「深層学習」を支える技術
「深層学習」の応用

『基礎からのニューラルネット』 (園田 隆史、甘利 丈慈、高井 絢之介、室田 佳亮 共著、申 吉浩 監修、工学社、2023 年 1 月刊) は、人工知能を支える ニューラルネットワーク の歴史と仕組みを、高校程度の数学を使いながら、それぞれの概念がなぜ必要なのかという理由から説明する入門書です。副題は人工知能の基盤技術で、工学社の I/O BOOKS シリーズの一冊です。フレームワークの使い方より先に、パーセプトロンから深層学習までの考え方の流れを一本の筋として理解したい人に向いています。

歴史から階層型、非階層型、深層学習へ進む全 4 章

版元の紹介によると、全 4 章は次のように進みます。第 1 章は人工知能研究の歴史を簡潔にまとめ、パーセプトロンから線形非分離問題と深層化、深層学習の誕生までをたどります。第 2 章は最も基本的な階層型ニューラルネット、つまりパーセプトロンの仕組みの詳説で、脳神経網と人工ニューラルネットの対応、単層パーセプトロンと誤り訂正学習、損失関数による限界突破、勾配消失問題、階層型モデルの万能性、深層化とバックプロパゲーションまでを扱います。第 3 章は物理学と人工知能研究の接点を取り上げる章で、階層型と非階層型の違いを整理したうえで Hopfield モデルとボルツマンマシンを説明します。最後の第 4 章は 深層学習 への誘いとして、畳み込みネットワーク、「回帰ネットワーク」、長 / 短期記憶、トランスフォーマの本質に焦点を絞った簡潔な説明を狙うとされています。

損失関数と誤差逆伝播、非階層型モデルを理由から追う意味

ニューラルネットの学習を数式から理解しようとすると、多くの人が損失関数の微分と誤差逆伝播のところで止まります。誤り訂正学習のような単純な規則では多層のネットワークの重みを決められないこと、そこで出力の誤りを滑らかな損失関数として表し、その勾配を出力側から入力側へ順に伝えて全部の重みを少しずつ動かす、という発想の転換が分かると、その後の深層学習の技術の多くを同じ枠組みで読めるようになります。本書が第 2 章で単層パーセプトロンから損失関数、勾配消失問題、バックプロパゲーションへと見出しを並べているのは、この転換を段階を追って示すためと読めます。また、入力から出力へ一方向に信号が流れる階層型と違い、Hopfield モデルやボルツマンマシンはユニットどうしが互いに結合し、エネルギーが下がる方向へ状態が落ち着いていく、物理の統計力学に近い考え方で記述されます。この系譜は入門書では省かれがちで、第 3 章として 1 章を割いている点は、本書を選ぶ理由の一つになります。

高校数学で読める範囲と、実装を求める人には別の本が要る点

前提として版元が示しているのは高校程度の数学で、大学の線形代数や多変数の微分積分を身につけてから読む本という位置づけではありません。数式に慣れていない段階でどこまで数学を補えばよいか迷うなら、機械学習に必要な数学の本ガイド で自分の到達点を決めておくと読み進めやすくなります。一方で、第 4 章の畳み込みネットワークやトランスフォーマは本質に絞った簡潔な説明とされているため、各モデルの詳細な構造や学習の手順まで学びたい人、あるいはコードを書いてモデルを動かしたい人には、本書だけでは足りません。そうした目的に合う本の系統は ディープラーニング本の選び方 で整理しています。

深層学習のライブラリを使ってはいるものの、損失関数や勾配消失、バックプロパゲーションといった言葉が何を解決するために生まれたのかを説明できずにいる人や、ニューラルネットの研究がどのような流れで深層学習に至ったのかを一冊で押さえたい人にとって、本書は限られた紙面で筋道を通してくれる一冊です。