ディープラーニングを支える技術〈 2 〉 --ニューラルネットワーク最大の謎(ディープラーニングヲササエルギジュツ ニ ニューラルネットワークサイダイノナゾ)

初学者の方々に向け、ディープラーニングの発展技術をまとめた解説書。
ディープラーニングは現在の AI/人工知能の発展の中核を担っており、スマートフォンから IoT 、クラウドに至るまで幅広い領域で、画像、音声、言語処理をはじめとした多くの対象分野に浸透し、目覚ましい進展をもたらしています。
ディープラーニングの今の基本をまとめた前作に続き、本作ではニューラルネットワークにおける大きな謎である「なぜ学習できるのか」「なぜ汎化するのか」にスポットを当て平易に解説。合わせて、将来的な革新の可能性を秘める二大トピックとして、「生成モデル」「深層強化学習」も詳しく取り上げます。そして、 4 つのテーマのもと、ディープラーニングや人工知能について課題を整理し、今後を考えていきます。
多様な問題を一つのアプローチ、アルゴリズムで解ける驚異的な技術。ディープラーニングが一段と進化していく将来につながる、長く役立つ原理、原則、考え方を紐解く 1 冊です。

ディープラーニングには、使い方が確立しているのに理屈が説明しきれていない部分があります。パラメータ数がデータより多いモデルがなぜ丸暗記に陥らず未知のデータへ汎化するのか。非凸の巨大な最適化問題が、なぜ単純な勾配法でうまく学習できてしまうのか。『ディープラーニングを支える技術〈 2 〉 ニューラルネットワーク最大の謎』 (技術評論社、 2022 年 4 月刊、 A5 判 304 ページ) は、この「動くのに謎」という深層学習のいちばん面白い部分へ正面から踏み込む解説書です。著者は Preferred Networks 創業者の岡野原大輔氏 (情報理工学博士) 。基本機能を扱った第 1 巻 (2022 年 1 月刊) の続巻にあたります。

前半 2 章で挑む学習と汎化の謎

前半 2 章が書名の「謎」に対応します。第 1 章はなぜ学習できるのかという最適化の章で、モーメンタム法をはじめ学習を効率化してきた手法を、経験則の寄せ集めではなく原理から整理します。第 2 章はなぜ汎化するのかという章で、パラメータの多いモデルは過学習するはずだという従来の学習理論と実際の挙動の矛盾を出発点に、この分野で議論されてきた説明の枠組みを平易にたどります。ここは世界的にも研究が続く未解決性を含む領域で、確定した結論の暗記ではなく「何がどこまで分かっているか」の見取り図が手に入るのが誠実なところです。

後半は深層生成モデルと深層強化学習

後半は、将来の革新の可能性を秘めた二大トピックです。第 3 章の深層生成モデルは、 VAE (潜在変数モデル) 、 GAN (敵対的生成モデル) 、自己回帰モデル、正規化フロー、そして拡散モデルまでを一続きの系譜として解説します。画像生成サービスの土台にある拡散モデルへ、確率モデルの基礎から日本語で登れる構成は貴重です。第 4 章は深層強化学習で、強化学習 の基本から深層学習との融合までを扱い、最終章がディープラーニングと人工知能の今後 (自己教師あり学習、計算性能との関係、問題固有の知識の組み込み方、残る課題) を展望して締めます。

第 1 巻との読む順番と使い分け

読む順番としては、第 1 巻でニューラルネットワークの基本機能 (層・学習・注意機構など) を押さえてからのほうが素直ですが、機械学習の基礎がある読者なら本巻から入っても追えます。役割分担は明確で、モデルの仕組みと使いどころを知りたいなら第 1 巻、学習と汎化の原理や生成モデル・強化学習の理論的な見通しが欲しいなら本巻です。コードを書いて動かす本ではないので、実装演習を求める人には 『ゼロから作る Deep Learning』系の写経型 が先になります。

向いている読者と長く効く価値

買って元が取れるのは、深層学習 を使う立場から一歩進んで、論文や技術発表を原理の言葉で読みたい人です。生成モデルの系譜と「学習・汎化の謎」の整理は、流行のモデル名が入れ替わっても価値が減らない層の知識で、研究志向の学生にも、技術選定の根拠を自分の言葉で説明したいエンジニアにも長く効きます。トップランナーが第一線の知見を日本語で書き下ろした 2 冊組の後編として、第 1 巻とあわせて手元に置く価値のある本です。