はじめてのパターン認識 ディープラーニング編

あの『はじめてのパターン認識』著者が徹底解説! ディープラーニングの理論的基礎がよくわかる!

機械学習の基礎的な理論について, 幅広く解説した前著『はじパタ』.それとほぼ同時期に登場したディープラーニングは, いまや当然の技術として, 様々な分野で活用されるようになりました.

いまこそ, ディープラーニングの要素技術とその応用展開について理解を深め, 確かな実力を身につけていきましょう.

なぜディープラーニングはうまくいくのか? ブレイクスルーの要因はどこにあるのか? ディープラーニングを開花させたここ 10 年の様々な研究成果を網羅的に概観しつつ, ディープラーニングの中枢を担う原理を掘り下げて解説します.

また, VAE や GAN,Self-Attention と Transfomer など, ディープラーニングの発展から生まれた各種の応用について, その原理を読み解きます.

急速な進歩を続ける機械学習分野において, 次の新たな進化に立ち向かうための「ディープな」ディープラーニング解説書となっています.
第 1 章 はじめに
第 2 章 復習・誤差逆伝搬法
第 3 章 自動微分
第 4 章 ディープラーニングの最適化技法
第 5 章 活性化関数
第 6 章 パラメータの初期化と正則化
第 7 章 ディープ化の技法
第 8 章 CNN
第 9 章 VAE
第 10 章 GAN
第 11 章 RNN
第 12 章 Self-Attention と Transformer
付録

深層学習のフレームワークを一通り使えるようになった後で、なぜその仕組みでうまく学習できるのかを原理から説明できるようになりたい人のための理論書です。『はじめてのパターン認識 ディープラーニング編』 (平井 有三 著、森北出版、2022 年 12 月刊) は、機械学習の基礎理論を幅広く扱った前著『はじめてのパターン認識』 (版元の紹介文での呼び名は『はじパタ』) の著者が、ディープラーニング の理論的基礎を解説した一冊です。版元は、ディープラーニングがなぜうまくいくのか、ブレイクスルーの要因はどこにあるのかという問いを掲げ、研究成果を概観しながら中枢となる原理を掘り下げると説明しています。

全 12 章の構成、誤差逆伝搬法から Transformer まで

本文は全 12 章に付録が続きます。第 1 章「はじめに」の後、第 2 章で誤差逆伝搬法を復習し、第 3 章で自動微分を扱います。第 4 章から第 7 章は、最適化技法、活性化関数、パラメーターの初期化と正則化、ディープ化の技法と、多層のネットワークを安定して学習させるための要素技術が並びます。後半は第 8 章の CNN を起点に、第 9 章の VAE、第 10 章の GAN、第 11 章の RNN と代表的なネットワークの型に進み、第 12 章で Self-Attention と Transformer を取り上げます。前半で学習を成り立たせる仕組みを固め、後半でその上に築かれた応用を読み解く順序になっています。

層を深くすると何が難しくなり、どの技法がそれを解いたのか

ニューラルネットワーク は、層を重ねるほど表現力が増す一方で、勾配が消えたり発散したりして学習が進まなくなるという壁を長く抱えていました。この壁を越えたのは単一の発明ではなく、勾配を効率よく計算する自動微分、更新の歩幅を調整する最適化手法、勾配が流れやすい活性化関数、学習の出発点を整えるパラメーターの初期化、過学習を抑える正則化、そして層をまたいで情報を通す構造上の工夫の積み重ねです。本書の第 3 章から第 7 章がこれらを独立した章として立てているのは、ディープラーニングの成功を要素ごとに分解して理解するための構成だと読めます。この分解ができていると、Transformer のような新しい構造に出会ったときにも、どの部分が既存の技法の組み合わせで、どこが新しい発想なのかを見分けられるようになります。

前著の素養と数学の前提、実装書との使い分け

第 2 章が誤差逆伝搬法の「復習」と題されていることからも分かるとおり、本書はニューラルネットワークの基本をすでに学んだ読者を想定した構成です。線形代数、微分、確率と統計の基礎に加え、識別関数や損失関数といったパターン認識の基本的な考え方に慣れていると読み進めやすく、その部分に不安があるなら前著から入るのが自然な順序です。一方で、特定のフレームワークでモデルを組み、動かしながら覚えたい段階であれば、実装を中心にした本のほうが目的に合います。原理を学ぶ本、実装の本、数学を補う本の位置づけは ディープラーニング本の選び方 で整理されているので、自分の段階と照らし合わせてから選ぶと失敗が減ります。

前著で機械学習の基礎を固めた人や、業務で深層学習のモデルを扱いながら、学習が安定しない理由や構造を選ぶ根拠を理論の言葉で説明できるようになりたいエンジニア、研究を始める学生にとって、CNN から Transformer までを共通の原理の流れで見渡せる本書は、手元で何度も開き直す価値のある一冊です。