深層学習 改訂第 2 版(シンソウガクシュウカイテイダイニハン)

◆ベストセラーの改訂版。最高最強のバイブルが大幅にパワーアップ!!◆

・トランスフォーマー、グラフニューラルネットワーク、生成モデルなどをはじめ、各手法を大幅に加筆。
・深層学習のさまざまな課題と、その対策についても詳しく解説。

[本書まえがきより抜粋]
ないもの (＝理論) ねだりをしても仕方がありません.それでも皆が研究を進めるのは,そうすることに意義があるからです.なぜうまく働くのか,なぜそうすべきか,数学的な証明はなくても,正しい説明は必ずあるはずです.それを手にできれば,目の前の課題を解決するのに,また次に進むべき道を知るうえで役に立つでしょう.
そこで本書では,それぞれの方法について,今の時点で最も納得できる説明をきちんと与えることにこだわりました.名前の通った方法であっても,理屈が成り立たない,あるいは役に立たない方法や考え方については,はっきりそう書きました.著者の主観といわれても仕方がない場合もあるかもしれませんが,そのほうが有益であると信じています.
また,現在の深層学習の広がりを把握できるように,定番となった問題・方法に加えて,重要だと思われる問題については,必ずしもそれほど有名でない方法も含めてなるべく網羅するようにしました.その取捨選択には,深層学習が実践的技術であることを踏まえ,実用性を最も重視しました.そこには,この間に著者が企業の実務家たちと行ってきた共同研究での経験が反映されています.

[主な内容]
第 1 章 はじめに
第 2 章 ネットワークの基本構造
第 3 章 確率的勾配降下法
第 4 章 誤差逆伝播法
第 5 章 畳み込みニューラルネットワーク
第 6 章 系列データのためのネットワーク
第 7 章 集合・グラフのためのネットワークと注意機構
第 8 章 推論の信頼性
第 9 章 説明と可視化
第 10 章 いろいろな学習方法
第 11 章 データが少ない場合の学習
第 12 章 生成モデル

深層学習 を数理の言葉で体系的に学ぶ日本語の定番書です。『深層学習 改訂第 2 版』 (岡谷貴之 著、講談社、 2022 年 1 月刊、 366 ページ) は、機械学習プロフェッショナルシリーズの一冊として 2015 年 4 月に出た初版を、 7 年ぶりに全面的に増強した改訂版で、畳み込みニューラルネットワークから Transformer を含む注意機構、グラフニューラルネットワーク、生成モデルまでを全 12 章で通覧します。

全 12 章の構成、土台から生成モデルへ

構成は、ネットワークの基本構造、確率的勾配降下法、誤差逆伝播法という土台から始まり、畳み込みニューラルネットワーク (第 5 章) 、系列データのためのネットワーク (第 6 章) 、集合・グラフのためのネットワークと注意機構 (第 7 章) と主要アーキテクチャを押さえたうえで、後半は推論の信頼性 (第 8 章) 、説明と可視化 (第 9 章) 、いろいろな学習方法 (第 10 章) 、データが少ない場合の学習 (第 11 章) 、生成モデル (第 12 章) へ進みます。後半の並びを見ると、モデルの精度だけでなく、信頼性・説明可能性・少データといった実務で突き当たる課題に章を割いているのが第 2 版の特徴だと分かります。

まえがきに表れた本書の性格

本書の性格を最もよく表しているのは、版元が掲げるまえがきの一節です。深層学習には「なぜうまく働くのか」への数学的証明がまだ無いことを著者は率直に認めたうえで、「数学的な証明はなくても、正しい説明は必ずあるはず」として、各手法に対しその時点で最も納得できる説明を与えることにこだわったと述べています。名の通った手法でも理屈が成り立たないものにははっきりそう書く、内容の取捨選択は実用性を最も重視する、という立場も明言されており、単に数式を並べた教科書ではなく、証明なき分野で何を信じて使うかの判断まで引き受けた本になっています。企業の実務家との共同研究の経験が反映されているという記述も、この実用重視の裏付けです。

初版からの大幅加筆と買い替え判断

改訂第 2 版での加筆は大幅です。初版は 2015 年、 Transformer (2017 年提案) が登場する前の刊行でした。第 2 版はトランスフォーマーを含む注意機構、グラフニューラルネットワーク、生成モデルの各手法を大幅に加筆し、さらに深層学習の課題とその対策の解説を加えています。旧版を持っている人にも、この加筆された主題のぶんだけ買い替えの意味がある改訂です。

前提知識と読む順序、類書との比較

読みこなす前提としては、線形代数・微積分・確率統計 の基礎的な素養が要ります。コードを写して動かす形式の本ではないため、フレームワークの操作を学びたい段階の人には向きません。順序としては、実装で直感を作る入門書、たとえば 『ゼロから作る Deep Learning』シリーズ を先に済ませ、「なぜこの構造でうまくいくのか」を言葉と数式で確かめたくなった段階で本書に進むと、双方の価値が最大になります。網羅的な海外教科書の邦訳である『 Deep Learning 』 (Goodfellow ほか、原著 2016 年) と比べると、本書は刊行が新しく Transformer 以降を含む点と、日本語で書き下ろされた読みやすさに分があります。

深層学習を業務や研究の中核に据える人、モデルの挙動を説明する立場にある人、そして手法の流行に流されず選択の根拠を持ちたい人にとって、本書は日本語で読める最も頼りになる一冊の候補です。 366 ページに主要アーキテクチャと実務課題への視点が体系化されており、通読後も個々の手法を確かめるリファレンスとして長く机上に残ります。