Vision Transformer 入門(ビジョントランスフォーマーニュウモン)

自然言語処理分野におけるブレイクスルーとなった Transformer をコンピュータビジョンに応用したモデルが Vision Transformer (ViT) です。さまざまなコンピュータビジョンのタスクにおいて、ディープラーニングではスタンダードとなっている RNN 、 CNN 、および既存手法を用いた処理精度を上回ることが確認されています。

本書は注目の ViT の入門書です。 Transformer の成り立ちからはじめ、その理論と実装を解説していきます。今後の ViT の活用が期待される応用タスク、 ViT から派生したモデルを紹介したあと、 Transoformer と ViT を分析し、その謎を解明していきます。今後も普及が期待される ViT を盛りだくさんでお届けします。

目次
1 章 Transformer から Vision Transformer への進化
2 章 Vision Transformer の基礎と実装
3 章 実験と可視化による Vision Transformer の探求
4 章 コンピュータビジョンへの応用
5 章 Vision and Language への応用
6 章 Vision Transformer の派生手法
7 章 Transformer の謎を読み解く
8 章 Vision Transformer の謎を読み解く
第 1 章 Transformer から Vision Transformer への進化

■ 1-1 自然言語処理における Transformer の登場
■ 1-2 Vision and language への拡張
■ 1-3 コンピュータビジョンにおける Transformer

第 2 章 Vision Transformer の基礎と実装

■ 2-1 準備
■ 2-2 ViT の全体像
■ 2-3 Input Layer
■ 2-4 Self-Attention
■ 2-5 Encoder
■ 2-6 ViT の実装

第 3 章 実験と可視化による Vision Transformer の探求

■ 3-1 実験の概要
■ 3-2 使用するデータセット
■ 3-3 実験条件
■ 3-4 既存手法との比較
■ 3-5 データ拡張における比較
■ 3-6 位置埋め込みの可視化
■ 3-7 ViT における判断根拠の可視化
■ 3-8 ViT が捉えているモノ

第 4 章 コンピュータビジョンタスクへの応用

■ 4-1 コンピュータビジョンのサブタスク
■ 4-2 画像認識への応用
■ 4-3 物体検出、セマンティックセグメンテーションへの応用
■ 4-4 ビデオ認識への応用
■ 4-5 オブジェクトトラッキングへの応用
■ 4-6 3D ビジョンへの応用
■ 4-7 その他のコンピュータビジョンサブタスクへの応用
■ 4-8 Transformer 応用のまとめと展望

第 5 章 Vision and Language タスクへの応用

■ 5-1 Vision and Language のサブタスク
■ 5-2 VQA への応用
■ 5-3 Image Captioning への応用
■ 5-4 Embodied AI への応用
■ 5-5 その他の Vision and Language サブタスクへの応用
■ 5-6 Vision and Language のまとめと展望

第 6 章 Vision Transformer の派生手法

■ 6-1 ViT 派生手法の分類
■ 6-2 Swin Transformer
■ 6-3 DeiT
■ 6-4 CvT
■ 6-5 SegFormer
■ 6-6 TimeSformer
■ 6-7 MAE

第 7 章 Transformer の謎を読み解く

■ 7-1 Transformer の謎に人々は驚き困惑した
■ 7-2 Positional embedding の謎
■ 7-3 Multi-head Attention の謎
■ 7-4 Layer Normalization の謎

第 8 章 Vision Transformer の謎を読み解く

■ 8-1 ViT vs CNN vs MLP の三国時代の到来
■ 8-2 ViT は CNN と同じく局所特徴を学習する
■ 8-3 ViT はより形状に反応する?
■ 8-4 ViT は早期から大域的な領域も見ている
■ 8-5 ViT は CNN や MLP よりもノイズや敵対的攻撃に頑健?
■ 8-6 3 つのモデルの特性と使い分けの勘どころ
■ 8-7 ViT の新常識

自然言語処理の世界を塗り替えた Transformer を画像認識へ持ち込んだモデルが Vision Transformer (ViT) です。『 Vision Transformer 入門』 (技術評論社、 2022 年 9 月刊) は、副題に「新しいコンピュータビジョンの世界」を掲げ、 Transformer の成り立ちから ViT の理論と実装、応用タスク、派生手法、そして内部で何が起きているのかの分析までを全 8 章で解説する入門書です。著者は産業技術総合研究所人工知能研究センター主任研究員の片岡裕雄氏を筆頭に、企業の研究開発部門や野村総合研究所、大学院に所属する 6 名の共著で、版元のプロフィールには章ごとの執筆分担が明記されています。

パッチ分割と Self-Attention 、 CNN と何が違うのか

2020 年に発表された ViT は、画像を固定サイズのパッチに分割し、それぞれを単語のようなトークンとして Transformer に入力するという発想で成立しています。畳み込みという操作に局所性などの前提 (帰納バイアス) が組み込まれた CNN と異なり、 ViT は Self-Attention によって最初の層から画像全体の関係を参照できます。その代わり大規模なデータでの事前学習が性能の鍵になる、という構造的なトレードオフを持ちます。版元の紹介文は、さまざまなコンピュータビジョンのタスクで RNN や CNN を用いた既存手法の処理精度を上回ることが確認されている、と ViT を位置づけています。深層学習 の勢力図が畳み込み一強から塗り替わっていく転換点を、原理から順に追えるのが本書の役割です。

全 8 章の構成、理論と実装から応用・派生手法まで

第 1 章は自然言語処理における Transformer の登場から ViT への進化をたどり、第 2 章で Input Layer 、 Self-Attention 、 Encoder という構成要素を実装レベルで解説します。第 3 章は実験と可視化による探求で、使用するデータセットや既存手法との比較を扱います。第 4 章は画像認識、物体検出、セマンティックセグメンテーション、ビデオ認識、 3D ビジョンなどコンピュータビジョンの各サブタスクへの応用、第 5 章は VQA や Image Captioning といった Vision and Language タスクへの応用です。第 6 章の派生手法では Swin Transformer 、 DeiT 、 CvT 、 SegFormer 、 TimeSformer 、 MAE を取り上げます。

読みどころは第 7 章・第 8 章の「謎を読み解く」分析

本書の個性が最も出るのが終盤 2 章です。 Positional embedding や Multi-head Attention 、 Layer Normalization がなぜ効くのかという Transformer 自体の謎を第 7 章で、 ViT は CNN と同じく局所特徴を学習するのか、ノイズや敵対的攻撃に頑健なのかという ViT 固有の謎を第 8 章で検討し、 ViT ・ CNN ・ MLP という 3 系統のモデルの特性と使い分けの勘どころまで踏み込みます。実装手順だけでなく「なぜ動くのか」の研究知見を整理しているため、モデル選定の判断材料を求める実務者にも読む価値がある構成です。

向いている読者と前提知識、 CNN 経験者の次の一歩

版元は想定読者を「 ViT に興味のある方」「実務で画像処理に取り組んでいる方」としています。議論は ニューラルネットワーク と機械学習の基本概念を前提に進むため、 CNN で画像分類を組んだ経験があるエンジニアや研究室配属後の学生が、 Transformer 系へ視野を広げる 2 冊目以降として読むのが現実的です。逆に、深層学習そのものが初めての人が最初の 1 冊に選ぶ本ではありません。また 2022 年 9 月刊のため、それ以降に登場した手法や研究動向は範囲外である点は踏まえておく必要があります。

画像系のタスクで Transformer 系モデルの採用を検討している人にとって、原理・実装・派生手法・特性分析が 1 冊にまとまっている構成は、論文を個別に追う前の地図として機能します。深層学習の基礎固めから始めたい場合は ディープラーニング本の選び方 で入門書を先に押さえるのが近道です。 CNN の経験を土台に画像認識の設計選択肢を広げたい技術者へ、体系立った足場を提供してくれる 1 冊です。