コンピュータビジョン最前線 Summer 2023

【最新動向サーベイ】
・イマドキノ拡散モデル: 拡散モデルに関する最近の研究動向を紹介。基本技術、条件付き生成への拡張、生成の高速化について述べ、拡散モデルを学ぶうえで役立つリソースを紹介。

【論文フカヨミ】
・フカヨミ CLIP:2020 年に OpenAI の研究グループによって提案されて以降、さまざまなタスクで利用される基盤モデルとなっている CLIP についてフカヨミ。

・フカヨミマテリアル画像キャプション生成: 近年の代表的な画像キャプション生成手法の概要と課題、そしてその課題を解決するために筆者らが ECCV2022 で提案した高速かつ高精度な画像キャプション生成手法“GRIT”について解説。

・フカヨミジェスチャー動画生成: これまでのジェスチャー動作生成手法に関する研究を分類しながら、主要技術と残された課題に触れ、その課題に取り組んだ DisCo についての論文および BEAT についての論文の 2 本をフカヨミ。

【チュートリアル】
・ニュウモン深層照度差ステレオ法: 照度差ステレオ法の基本的な原理と、照度差ステレオ法の研究で現在主流となっているデータ駆動型の手法をわかりやすく解説。

その他、4 コマ漫画「ふたり大学生」、CV 分野の学会・研究会・国際会議の開催日程や投稿日が一挙にわかる「CV イベントカレンダー」を掲載。
巻頭言 (日浦慎作)

イマドキノ拡散モデルー画像生成の世界を変えた魔法の舞台裏ー (石井雅人)
フカヨミ CLIP-おおざっぱな CLIP を目利きに育てる!-(品川政太朗)
フカヨミ画像キャプション生成ー CNN は不要? Transformer ですべて解決!-(菅沼雅徳)
フカヨミジェスチャー動作生成ー複雑かつ曖昧で不確実な対話の世界!-(岩本尚也)
ニュウモン深層照度差ステレオ法ー照明を操り形状を復元! その最新研究に迫る!-(山藤浩明)

ふたり大学生 (鉄分@Tetuboooon)

CV イベントカレンダー

『コンピュータビジョン最前線 Summer 2023』は、コンピュータビジョン (CV) の研究動向を記事形式でまとめる共立出版のシリーズの一冊で、拡散モデルのサーベイ、3 本の論文解説、深層照度差ステレオ法のチュートリアルを収めた号です。編者は井尻 善久、牛久 祥孝、片岡 裕雄、藤吉 弘亘の 4 氏で、2023 年 6 月 14 日に発売されました。巻頭言は日浦慎作氏が寄せています。

拡散モデルのサーベイと 3 本の論文フカヨミ

サーベイの枠に置かれた記事は、石井雅人氏の「イマドキノ拡散モデル」です。版元の紹介によると、拡散モデルの基本技術、条件付き生成への拡張、生成の高速化を述べ、拡散モデルを学ぶうえで役立つリソースを紹介しています。論文フカヨミの枠には 3 本が並びます。品川政太朗氏の「フカヨミ CLIP」は、OpenAI の研究グループが提案して以降、さまざまなタスクで利用される基盤モデルとなった CLIP を取り上げます。菅沼雅徳氏の「フカヨミ画像キャプション生成」は、画像キャプション生成手法の概要と課題を整理したうえで、筆者らが ECCV2022 で提案した手法 GRIT を解説します。岩本尚也氏の「フカヨミジェスチャー動作生成」は、ジェスチャー動作生成の研究を分類しながら主要技術と残された課題に触れ、DisCo と BEAT の論文 2 本を読み込みます。

深層照度差ステレオ法のチュートリアルとカレンダー

チュートリアルの枠は山藤浩明氏の「ニュウモン深層照度差ステレオ法」で、照度差ステレオ法の基本的な原理から、データ駆動型の手法までを解説します。照度差ステレオ法は、カメラと物体を固定したまま照明の向きだけを変えて複数枚を撮影し、明るさの変化から物体表面の法線の向きを推定する手法です。古典的な定式化は表面が光を均等に拡散する前提に立つため、光沢や影、相互反射を含む実際の物体では誤差が大きくなります。こうした前提から外れる反射を 深層学習 で学習データから扱う方向が、データ駆動型の手法の出発点です。このほか、4 コマ漫画「ふたり大学生」と、CV 分野の学会、研究会、国際会議の開催日程や投稿日をまとめた「CV イベントカレンダー」も載っています。

拡散モデルと CLIP を読む前に押さえたい技術背景

拡散モデルは、画像に少しずつノイズを加えていく過程を考え、その逆向きにノイズを取り除く手順をニューラルネットワークに学習させることで画像を生成する枠組みです。文章から画像を作る 画像生成 AI の多くはこの枠組みを土台にしており、条件付き生成は文章などの条件に沿った画像を出す拡張、生成の高速化は多数回の反復が必要という弱点への対処にあたります。CLIP は、画像と説明文の組を大量に用意し、対応する組が近くなるように画像と文章を同じ埋め込みベクトルの空間へ写す学習を行うモデルです。文章で分類先を指定するだけで画像を分類できる性質から、生成モデルの条件付けや検索など多くの用途の部品になりました。

記事の形式と、発売時点の範囲

記事はサーベイ、論文解説、チュートリアルという性格の異なる形式で書かれています。扱う研究は 2023 年 6 月の発売時点までのものです。この号は、拡散モデルと CLIP を日本語の解説で扱います。