ゼロから作る Deep Learning 5(ゼロカラツクルディープラーニングゴ)

人気シリーズの第 5 弾。生成モデルの今を実装する!
人気シリーズの第 5 弾。今回のテーマは「生成モデル」です。本書では「正規分布」から「拡散モデル」に至るまでの技術を繋がりのあるストーリーとして展開します。読者は小さな学びを積み重ねながら、ステップバイステップで実装し、最終的には「 Stable Diffusion 」のような画像生成 AI を完成させます。技術の面白さは細部にありますーーゼロから作る、数式に挑む。

Stable Diffusion のような画像生成 AI は、なぜ砂嵐のようなノイズから絵を取り出せるのか。『ゼロから作る Deep Learning ❺ 生成モデル編』 (斎藤康毅著、オライリー・ジャパン、 2024 年 4 月刊、 336 ページ) は、この問いに数式の導出と動くコードの両方で答える本です。広く読まれてきたシリーズの第 5 巻にして 2026 年 8 月時点でいちばん新しい巻にあたり、テーマは生成モデル。正規分布という確率論の出発点から拡散モデルまでを、版元の言葉を借りれば「繋がりのあるストーリー」として一本道で展開し、最終的に Stable Diffusion 型の画像生成の仕組みを理解できるところまで登ります。

確率統計から拡散モデルへ登る構成

生成モデルとは、データを「確率分布からのサンプル」とみなし、その分布自体を学習して新しいデータを生み出す枠組みです。本書の構成はこの定義に忠実で、全 10 ステップのうち前半は正規分布・最尤推定・多次元正規分布・混合ガウスモデル (GMM) ・ EM アルゴリズムという 確率統計 の積み上げに充てられます。 KL ダイバージェンスや ELBO (エビデンスの下界) といった、生成モデルの論文に必ず現れる概念がここで導出されます。そしてステップ 7 以降が本題で、変分オートエンコーダ (VAE) を EM アルゴリズムの限界への回答として導入し、さらに拡散モデルを「 VAE の潜在変数を階層化したもの」として位置づけます。 VAE と拡散モデルを別々の道具としてではなく、同じ理論の系譜として理解できるのが本書の最大の効能です。

PyTorch を導入する巻という注意点

1 つ、シリーズ既読者ほど注意したい点があります。本巻は「 NumPy だけで自作する」路線ではありません。ステップ 6 で PyTorch を導入し (インストールから丁寧に始まります) 、以降の VAE や拡散モデルは PyTorch で実装します。ゼロから作る対象が、フレームワークの下のレイヤから「モデルと数式そのもの」へ移った巻と捉えるのが正確です。実装面ではステップ 9 で画像向けの U-Net と正弦波位置エンコーディングを組み、ステップ 10 で条件付き拡散モデル、分類器ガイダンス、分類器なしガイダンスへ進んだ上で、 Stable Diffusion の仕組みと Diffusers ライブラリに触れて締めくくられます。付録には多次元正規分布の最尤推定の導出や階層型 VAE の理論と実装まで収められています。

難易度・前提知識と読む順番

難易度の重心は数式にあります。キャッチフレーズに「数式に挑む」とある通り、期待値・分散・尤度といった確率統計の言葉に抵抗がないことが実質的な前提で、シリーズの中でも数学的に最も骨のある巻です。一方で必要な 深層学習 の知識は無印 (第 1 巻) の水準で足り、❷ 自然言語処理編・❸ フレームワーク編・❹ 強化学習編の内容は要求されません。読む順番 としては、無印で誤差逆伝播とニューラルネットワークの基礎を押さえたら、途中の巻を飛ばして本書へ進んでも支障のない独立性があります。 PyTorch 未経験でも、ステップ 6 が入門を兼ねるため詰まりにくい作りです。

向いている読者・向かない読者

プロンプトを工夫して絵を出したいだけなら、本書は不要です。また数式の導出を追うこと自体を避けたい人には、ページの大半が苦行になります。逆に、画像生成 AI を業務で扱っていて挙動やパラメータの意味を根拠を持って説明したい機械学習エンジニア、拡散モデルの論文を読み始めたい学生や研究者志望の人、生成 AI を「使える」だけでなく「説明できる」技術にしたい人には、日本語で書かれた最短経路の一冊です。読み終える頃には、ノイズ予測・ ELBO ・ガイダンスといった論文頻出の語彙が、自分で動かしたコードと結びついた状態で手元に残ります。