拡散モデル

テキストに対応する画像を生成するーー従来は困難であった高次元のデータを創り出す生成モデルの技術が注目されている。現在、最高の性能を発揮し、画像・動画・音声・化合物の生成など、多様な応用が期待されているのが拡散モデルである。その数理の心から課題までを世界に先駆けて解説し、理論のさらなる発展を追究する。

画像や音声、化合物の構造を生成する拡散モデルを、生成モデルの基礎からスコアマッチング、確率微分方程式による連続時間化、条件付き生成の手法、応用例まで、数式と証明を伴って一冊にまとめた数理の専門書です。『拡散モデル データ生成技術の数理』 (岡野原 大輔 著、岩波書店、2023 年 2 月刊) の著者は、刊行時の紹介で、2014 年に Preferred Networks を共同で創業し同社の代表取締役最高研究責任者を務める研究者と紹介されています。拡散モデルがなぜ高次元のデータを生成できるのかを、手順の暗記ではなく導出として理解したい人に向いた一冊です。

全 5 章と付録の構成、スコアから確率フロー ODE と応用まで

第 1 章「生成モデル」は、生成モデルとは何かから始め、エネルギーベースモデルと分配関数、高次元で多峰性のあるデータを生成する難しさを整理したうえで、対数尤度の入力についての勾配であるスコアと、ランジュバン・モンテカルロ法、暗黙的スコアマッチング、デノイジングスコアマッチングを証明付きで扱います。第 2 章「拡散モデル」では、スコアベースモデル (SBM) とデノイジング拡散確率モデル (DDPM) をそれぞれ導き、両者をシグナルノイズ比で表す統一的な枠組み、連続時間モデル、学習可能なノイズスケジュールへ進みます。第 3 章「連続時間化拡散モデル」は確率微分方程式 (SDE) による表現と逆拡散過程、学習とサンプリング、確率フロー ODE と尤度の計算を扱い、拡散モデルの特徴として学習の安定性、生成の遅さ、汎化の仕組みが未解決である点までを論じます。第 4 章「拡散モデルの発展」は分類器ガイダンスと分類器無しガイダンス、部分空間拡散モデル、対称性を考慮した拡散モデルと化合物配座を、第 5 章「アプリケーション」は画像生成や超解像、動画、音声、化合物、敵対的摂動に対する頑健性、データ圧縮への応用を取り上げます。付録には ELBO やデノイジング暗黙的拡散モデル、離散変数を扱う Analog Bits などの導出と解説が収められています。

ノイズを足して戻す、拡散モデルの考え方とスコアの役割

生成モデルの目標は、データが従う分布から新しいサンプルを取り出すことです。ところが画像のような高次元のデータでは分布の形が複雑で多峰的になり、確率密度をそのまま書き下すと、正規化のための分配関数が計算できなくなります。拡散モデルは、データに少しずつノイズを加えて最後は単純な正規分布にする拡散過程と、その逆をたどってノイズからデータを復元する逆拡散過程を組み合わせ、難しい生成を小さなノイズ除去の積み重ねに分解します。このとき鍵になるのが対数密度の勾配であるスコアで、スコアは分配関数に依存しないため、ノイズを取り除く方向を学習することで推定できます。敵対的な学習を必要としないぶん学習が安定しやすい一方、生成に多くのステップを要して遅いという弱点があり、本書の第 3 章もこの長所と短所を拡散モデルの特徴として並べています。テキストから画像を作る 生成 AI の条件付き生成は、第 4 章が扱う分類器無しガイダンスのような手法と結びついており、理論と実際の生成の距離が近い分野です。

確率と微積分の前提、実装書との使い分け

証明を含む数理の本なので、確率分布と条件付き確率、正規分布の性質、多変数の微積分、線形代数を道具として扱えることが前提になります。第 3 章では確率微分方程式を用いるため、確率過程に初めて触れる人は付録の導出も参照しながら時間をかけて追う必要があります。土台の数学に不安があれば、機械学習に必要な数学の本 で範囲を絞って補ってから読むと見通しがよくなります。また目次は数理と手法、応用例で組まれており、ライブラリを使った実装の手順や画像生成ツールの操作を学ぶ本ではありません。手を動かす教材が欲しい場合は、ディープラーニング本の選び方 を参考に実装寄りの本と組み合わせるのが現実的です。扱う研究の範囲は 2023 年 2 月の刊行時点までのものです。

拡散モデルの論文を読み進めたい研究者や大学院生、画像や音声、化合物の生成モデルを改良する立場のエンジニアにとって、スコアベースモデルと DDPM、SDE 表現という散らばった定式化の関係を一冊で整理できる本書は、個々の論文に取り組む前の見取り図として手元に置く価値があります。