物体検出と GAN、オートエンコーダー、画像処理入門 PyTorch/TensorFlow2 による発展的・実装ディープラーニング

本書はディープラーニングの発展型技術である物体検出と画像生成について取り上げた解説書です。自動運転、顔認識、外観検査、医療画像診断など、多くの分野で利用されている技術となっています。
物体検出は SSD の実装法をプログラミングを行いながら解説しています。また、手軽に物体検出を体験できるよう TensorFlow Hub についても紹介しています。
画像生成はオートエンコーダーから GAN までを取り上げました。

画像に何が写っているかを当てる分類の先へ進み、物体の位置を枠で示す物体検出と、新しい画像を作り出す画像生成をコードで組み立てたい人に向けた実装書です。『物体検出と GAN、オートエンコーダー、画像処理入門 PyTorch/TensorFlow2 による発展的・実装ディープラーニング』はチーム・カルポの著作で、秀和システムから 2021 年 8 月 31 日に発売されました。版元はこの 2 つの技術を、自動運転、顔認識、外観検査、医療画像診断など多くの分野で利用されているディープラーニングの発展型技術と紹介しています。

全 5 章と付録の構成、SSD の実装から GAN まで

目次は 1 章「開発環境について」から始まり、Anaconda の導入、Jupyter Notebook、Spyder、Google Colab の使い方を扱います。2 章「SSD による物体検出」が物体検出の中心で、データセットの用意と前処理、モデルと順伝播処理の実装、バウンディングボックスの処理、デフォルトボックスのオフセット情報を作る関数、損失関数のクラス、学習プログラム、学習済みモデルでの推論までを順に組み立てます。3 章は TensorFlow Hub の学習済みモデル「FasterRCNN＋InceptionResNetV2」で物体検出を体験する章です。4 章「オートエンコーダー」と 5 章「GAN (敵対的生成ネットワーク)」が画像生成の部分で、4 章は畳み込みオートエンコーダーによるノイズ除去と変分オートエンコーダーまで、5 章は DCGAN と Conditional GAN による画像生成を扱います。最後の Appendix「ディープラーニングの数学的要素」では、テンソル、ベクトルと行列の演算、微分を整理しています。

物体検出と画像生成で何が難しくなるのか

分類のモデルは画像 1 枚に 1 つのラベルを返せば済みますが、物体検出は 1 枚の中にある複数の物体について、位置を表す矩形とその種類を同時に出力しなければなりません。SSD は、大きさの異なる特徴マップの各位置にあらかじめ決めた枠 (デフォルトボックス) を置き、その枠からのずれと物体の種類を 1 回の推論でまとめて予測する 1 段式の方式です。位置のずれの誤差と分類の誤差を合わせた損失を設計する必要があるため、手で実装すると検出の仕組みがどこで決まっているのかがよく見えます。Faster R-CNN は、物体がありそうな領域を先に提案してから分類と位置の補正を行う 2 段式の代表です。画像生成の側では、オートエンコーダーが画像を小さな潜在表現に圧縮してから復元し、変分オートエンコーダーはその潜在表現を確率分布として扱うことで新しい画像を生み出せるようにします。GAN は画像を作る生成器と本物かどうかを見分ける識別器を競わせて学習させる方式で、Conditional GAN は生成器に条件のラベルを与えて、作る画像の種類を指定できるようにしたものです。いずれも多層の ニューラルネットワーク を組み合わせて作るため、構造の違いを実装で比べる意味があります。

2 つのフレームワークで同じモデルを書き比べる

4 章と 5 章では、変分オートエンコーダー、DCGAN、Conditional GAN のそれぞれについて PyTorch 版と TensorFlow 版の節が対になっています。PyTorch は、計算を書いた順にその場で実行する書き方が基本です。TensorFlow の 2 系も即時実行を標準にし、高水準の Keras の書き方を中心に据えました。同じモデルを両方で読むと、層の定義、学習ループ、損失の書き方がどう対応するかを確かめられます。

向いている読者と、物体検出を広く見渡したい人への注意

本書は 1 章で開発環境の用意を、付録で数学の要素を扱います。ただし 2 章は損失関数のクラスやボックスの符号化まで自分で組む内容なので、画像分類のモデルを一度学習させた経験があると読み進めやすくなります。物体検出の手法は SSD と Faster R-CNN の 2 つが目次に載る範囲で、多くの検出モデルを比較しながら見渡す本ではありません。本書は、SSD の中身を自分の手で組んで理解したい人や、オートエンコーダーから GAN までの画像生成を 2 つのフレームワークで動かして身に着けたい人に向けた実装書です。