はじめてのディープラーニング 2

オンライン教育プラットフォーム Udemy の人気講師が教えるディープラーニングの基礎、第 2 弾。前作「はじめてのディープラーニング」では、基礎中の基礎であるニューラルネットワークとバックプロパゲーションを初学者にもわかりやすく解説しましたが、本作では自然言語処理の分野で真価を発揮する再帰型ニューラルネットワーク (RNN) と、ディープラーニングの生成モデルである VAE (Variational Autoencoder) と GAN (Generative Adversarial Networks) について実装方法を含めて解説します。もちろんプログラムの実装については、前作を踏襲して Python のみで行い、既存のフレームワークに頼りません。

[本書の特徴]
・前作を読んでいない方のために、Python、数学、ニューラルネットワークの基礎について解説する章を設けています。
・サンプルプログラムはフレームワークを使わずに Python のみで記述しています。このため数式をコード化する際の原理が初心者にもわかりやすくなっています。
・サンプルプログラムは SB クリエイティブ株式会社のサイトからダウンロード可能です。
・Python3、Jupyter Notebook、Google Colaboratory 対応
第 1 章 ディープラーニングの発展
ディープラーニングの概要
ディープラーニングの応用
本書で扱う技術
本書の使い方

第 2 章 学習の準備
Anaconda の環境構築
Google Colaboratory の使い方
Jupyter Notebook の使い方
Python の基礎
NumPy と matplotlib
数学の基礎

第 3 章 ディープラーニング基礎
ニューラルネットワーク、ディープラーニングの概要
全結合層の順伝播
全結合層の逆伝播
全結合層の実装
シンプルなディープラーニングの実装

第 4 章 RNN
RNN の概要
RNN 層の順伝播
RNN 層の逆伝播
RNN 層の実装
シンプルな RNN の実装
RNN が抱える問題

第 5 章 LSTM
LSTM の概要
LSTM 層の順伝播
LSTM 層の逆伝播
LSTM 層の実装
シンプルな LSTM の実装
文章の自動生成

第 6 章 GRU
GRU の概要
GRU 層の順伝播
GRU 層の逆伝播
GRU 層の実装
シンプルな GRU の実装
Encoder-Decoder

第 7 章 VAE
VAE の概要
VAE の仕組み
オートエンコーダの実装
VAE に必要な層
VAE の実装
VAE の派生技術
第 8 章 GAN
GAN の概要
GAN の仕組み
GAN に必要な層
GAN の実装
GAN の派生技術

ディープラーニングを使う人は多くても、層の中で数式がどう計算され、誤差がどう逆向きに伝わるかを自分のコードで確かめた人は多くありません。『はじめてのディープラーニング 2』 (我妻 幸長 著、SB クリエイティブ、2020 年 3 月刊) は、副題「Python で実装する再帰型ニューラルネットワーク, VAE, GAN」のとおり、時系列や文章を扱う RNN 系のモデルと、データを生み出す生成モデルの VAE と GAN を、既存のフレームワークに頼らず Python だけで実装しながら学ぶ入門書です。版元は本書を、Udemy で講座を持つ著者によるディープラーニングの基礎の第 2 弾と紹介しています。

全 8 章の構成、RNN と LSTM から VAE、GAN まで

第 1 章でディープラーニングの概要と応用、本書で扱う技術を見渡し、第 2 章で Anaconda による環境構築、Google Colaboratory と Jupyter Notebook の使い方、Python の基礎、NumPy と matplotlib、数学の基礎を準備します。第 3 章は全結合層の順伝播と逆伝播を実装して、シンプルなディープラーニングを組み上げる章です。ここまでが前作を読んでいない人のための土台で、第 4 章から本題に入ります。第 4 章 RNN、第 5 章 LSTM、第 6 章 GRU はいずれも、層の順伝播、逆伝播、実装、シンプルなモデルの実装という同じ流れで進み、第 4 章の最後で RNN が抱える問題を、第 5 章で文章の自動生成を、第 6 章で Encoder-Decoder を扱います。第 7 章 VAE はオートエンコーダの実装を経て VAE を実装し、第 8 章 GAN は仕組みと必要な層を整理してから実装に進みます。両章とも最後に派生技術の節が置かれています。

フレームワークを使わずに書く意味

ディープラーニング の実務では PyTorch や TensorFlow のようなフレームワークが勾配の計算を自動で引き受けるため、逆伝播の式を自分で書く場面はほとんどありません。それでも、RNN が長い系列で学習しにくくなる理由や、LSTM がゲートによって情報の保持と忘却を制御する仕組みは、時間方向に誤差をさかのぼらせる計算を一度追ってみると格段に腹に落ちます。VAE は入力を潜在変数の分布に写して、そこからデータを復元するように学習するモデルで、GAN はデータを生成する側と本物か偽物かを見分ける側を競わせて学習するモデルです。どちらも損失の設計と勾配の流れ方に特徴があり、式とコードを並べて読むことで、ライブラリの関数名だけでは見えない部分が見えてきます。版元が、フレームワークを使わずに Python だけで書くことで数式をコードにする際の原理が分かりやすくなると説明しているのは、この点を指しています。

前提知識と、類書との使い分け

前作は、ニューラルネットワークとバックプロパゲーションという基礎中の基礎を扱った『はじめてのディープラーニング』です。本書は前作を読んでいない読者のために Python、数学、ニューラルネットワークの基礎を扱う章を設けているので、単独でも読み始められますが、行列の計算や微分の考え方に触れた経験があると第 3 章以降の逆伝播の式を追いやすくなります。同じく原理から手で組む系統の本として「ゼロから作る Deep Learning」シリーズがあり、シリーズの読む順番 にまとめたとおり、自然言語処理や生成モデルを扱う巻もあります。ディープラーニング本全体の中での位置づけは ディープラーニング本の選び方 も参考になります。一方で、学習済みの大規模なモデルを使ったアプリケーション開発や、フレームワークでの本番運用の手順を知りたい場合は、目的に合った別の本を選ぶほうが近道です。本書は 2020 年 3 月刊で、Transformer 以降のモデルは目次の範囲に入っていません。

RNN、LSTM、GRU、VAE、GAN という名前は知っていても、中で何が起きているかを説明できないと感じている人にとって、5 つのモデルを同じ手順で実装していく本書の構成は、理解の穴を順番に埋めていく助けになります。サンプルは版元のサイトからダウンロードでき、Google Colaboratory にも対応しているので、手元の環境を整える手間をかけずに第 1 章から手を動かせます。