つくりながら学ぶ! PyTorch による発展ディープラーニング

本書ではディープラーニングの発展・応用手法を実装しながら学習していきます。ディープラーニングの実装パッケージとして PyTorch を利用します。扱うタスク内容とディープラーニングモデルは次の通りで「ビジネスの現場でディープラーニングを活用するためにも実装経験を積んでおきたいタスク」という観点で選定しました。

［本書で学習できるタスク］
転移学習、ファインチューニング: 少量の画像データからディープラーニングモデルを構築
物体検出 (SSD):画像のどこに何が映っているのかを検出
セマンティックセグメンテーション (PSPNet):ピクセルレベルで画像内の物体を検出
姿勢推定 (OpenPose):人物を検出し人体の各部位を同定しリンク
GAN (DCGAN、Self-Attention GAN):現実に存在するような画像を生成
異常検知 (AnoGAN、Efficient GAN):正常画像のみから GAN で異常画像を検出
自然言語処理 (Transformer、BERT):テキストデータの感情分析を実施
動画分類 (3DCNN、ECO):人物動作の動画データをクラス分類

本書は第 1 章から順番に様々なタスクに対するディープラーニングモデルの実装に取り組むことで高度かつ応用的な手法が徐々に身につく構成となっています。各ディープラーニングモデルは執筆時点で State-of-the-Art (最高性能モデル) の土台となっており、実装できるようになればその後の研究・開発に役立つことでしょう。
ディープラーニングの発展・応用手法を楽しく学んでいただければ幸いです。

実装環境
・読者の PC (GPU 環境不要)、Anaconda と Jupyter Notebook、AWS を使用した GPU サーバー
・AWS の環境: p2.xlarge インスタンス、Deep Learning AMI (Ubuntu) マシンイメージ (OS Ubuntu 16.04|64 ビット、NVIDIA K80 GPU、Python 3.6.5、conda 4.5.2、PyTorch 1.0.1)

入門書でニューラルネットワークの原理を学んだ後、「論文に出てくるようなモデルを自分で実装する」までの間には大きな谷があります。『つくりながら学ぶ! PyTorch による発展ディープラーニング』 (小川雄太郎 著、マイナビ出版、2019 年 7 月刊、B5 変型判 512 ページ) は、その谷に橋を架けるための実装本です。著者は東京大学大学院で計算論的神経科学の博士号を取得し、SIer の技術本部でディープラーニングの研究開発に携わってきた実務家で、「ビジネスの現場で活用するために実装経験を積んでおきたいタスク」という観点で題材を選んだと版元は紹介しています。

画像 / 言語 / 動画 8 分野を実装する構成

収録タスクの幅が本書の顔です。少量データで戦うための転移学習とファインチューニングから始まり、物体検出 (SSD)、ピクセル単位で領域を判別するセマンティックセグメンテーション (PSPNet)、姿勢推定 (OpenPose)、画像生成の GAN (DCGAN / Self-Attention GAN)、正常データだけから異常を見つける異常検知 (AnoGAN / Efficient GAN)、自然言語処理 (Transformer / BERT) による感情分析、そして動画分類 (3DCNN / ECO) まで、画像 / 言語 / 動画にまたがる 8 分野を PyTorch で実装していきます。1 冊でこの範囲を「動くコード」として通せる日本語の本は多くなく、512 ページの厚みはそのまま演習量です。

読みどころは実装筋力と 2019 年刊の位置づけ

この本の効能は、個々のモデルの知識よりも「複雑なネットワークをコードとして読める・組める」筋力にあります。データローダーの設計、損失関数の実装、学習済み重みの利用といった、論文再現に必ず必要な作業を 8 回繰り返すため、読み終える頃には初見のモデル実装を読む抵抗が大きく下がります。刊行は 2019 年で、収録モデルは執筆時点の最高性能級の土台という位置づけでした。その後の主役は Transformer 系や拡散モデルへ移りましたが、SSD やセグメンテーション、GAN の実装で身につく設計パターンは後続モデルの読解にそのまま流用でき、「発展手法を実装で学ぶ訓練場」としての価値は残っています。BERT と Transformer の実装章は、大規模言語モデル 時代の基礎教養としてむしろ読み直されやすい部分です。

必要な前提知識と注意点

前提は、『ゼロから作る Deep Learning』水準 の原理理解と、Python の中級程度の読み書きです。PyTorch 自体の入門は本書内で補われますが、ニューラルネットワークの学習の仕組みを知らずに読むと写経で終わります。また 2019 年刊のため、コードを動かす際はライブラリのバージョン差異を自分で解決する場面が出ることは織り込んでください。数式の導出より実装を優先する本なので、理論の厳密さを求める読者には理論書の併読が要ります。

向いている読者

向いているのは、入門を終えて実務の画像案件 / 異常検知案件に踏み出すエンジニア、研究室配属で論文実装の基礎体力を作りたい学生です。応用モデルを 8 つ、手を動かして通した経験は、どのフレームワークが主流になっても効き続ける投資になります。