第3章：生成モデルのフロンティア

1. 拡散モデルの発展と派生

スタンダードやアドバンストで学んだ拡散モデルは、より制御可能で高効率なアーキテクチャへと進化しています。

• Latent Diffusion Models (LDM): ピクセル空間で直接計算するのではなく、VAEによって圧縮された「潜在空間」で拡散プロセスを行う手法です（Stable Diffusionの基盤）。計算コストを劇的に抑えつつ、高解像度な生成を可能にしました。

• ControlNetによる構造制御: 学習済みの巨大な拡散モデルを固定したまま、その「コピー」を学習させることで、ポーズ、線画、深度情報などの追加条件（Conditioning）を極めて正確に反映させる技術です。

2. 動画生成と3D生成技術

静止画から「時間軸」と「空間軸」への拡張が現在の最前線です。

• 動画生成の時空間アテンション: 動画生成AI（Sora等）では、各フレーム内の空間的なつながりだけでなく、フレーム間の「時間のつながり」を同時に計算する「時空間アテンション（Spatiotemporal Attention）」が用いられます。これにより、物体が動いても形が崩れない一貫性を保ちます。

• 3D生成（NeRFからGaussian Splattingへ）:

  • NeRF (Neural Radiance Fields): 多視点写真から、ニューラルネットワークを用いて連続的な3D空間（密度と色）を学習する技術です。

  • 3D Gaussian Splatting: NeRFのような重い計算を介さず、「ぼやけた球体（ガウス分布）」の集合として3D空間を表現する手法です。リアルタイムでの高速描画が可能になり、実務での活用が急増しています。

3. 自己教師あり学習（Self-Supervised Learning）

「人間によるラベル」に頼らず、データ自身を教師として学習する手法です。これが現在の巨大な基盤モデル（Foundation Models）の源泉です。

• MAE (Masked Autoencoders): 画像の一部をランダムに隠し（マスクし）、残りの部分から隠された部分を復元させる学習手法です。これにより、モデルは物体の構造や文脈を深く理解します。

• 対照学習（Contrastive Learning）: 「同じ画像の別々の切り抜き（ポジティブペア）」は近づけ、「全く別の画像（ネガティブペア）」は遠ざけるようにベクトル空間を整理する手法です。SimCLRやCLIPなどのモデルで採用され、非常に強力な特徴抽出を可能にしました。