第1章：最新の深層学習アーキテクチャと理論

1. Vision Transformer (ViT) の深化

画像処理においても、従来のCNN（畳み込み）からTransformerへの移行が加速しています。

• Patch Embedding: 画像を固定サイズのパッチ（例：16x16ピクセル）に分割し、それぞれを1次元のベクトルとして扱う手法です。これにより、画像データが自然言語処理と同じ「トークンの列」として扱えるようになりました。

• Positional Encoding: Transformerは構造上、データの順序を認識できません。画像パッチが「左上にあるのか右下にあるのか」という空間情報をベクトルに加算することで、位置関係を保持します。

• Global Attentionの利点: CNNが局所的な特徴（隣り合うピクセル）を重視するのに対し、ViTは画像全体の依存関係を一度に計算できるため、高解像度な画像や複雑なシーンの理解に優れています。

2. マルチモーダル学習

テキスト、画像、音声など、異なる種類のデータを単一のベクトル空間で共有する技術です。

• CLIP (Contrastive Language-Image Pre-training): 「画像とその説明文」のペアを膨大に学習させ、画像ベクトルとテキストベクトルが同じ意味を持つ場合に近づくように調整（対照学習）するモデルです。これにより、未知のラベルに対しても「説明文」を介して認識できる Zero-shot学習 が可能になりました。

• クロスモーダル表現: 異なるモダリティを融合させることで、「この動画の30秒目あたりの音声をテキストで要約する」といった複雑なタスクを実現します。

3. 最新の最適化理論と正則化

モデルの巨大化に伴い、従来の学習手法では「収束の遅さ」や「鋭い極小値（シャープ・ミニマ）」が問題となっています。

• Sharpness-Aware Minimization (SAM): 損失関数の値が低いだけでなく、その周辺が「平坦（フラット）」である場所を探す最適化手法です。平坦な領域で学習されたモデルは、未知のデータに対しても高い汎用性（汎化性能）を持つことが数学的に証明されています。

• スケーリング則（Scaling Laws）: 「モデルのパラメータ数」「学習データの量」「計算資源（GPU時間）」の3つを増やすと、モデルの性能がべき乗則に従って向上するという法則です。この理論に基づき、どれだけの投資を行えば目標の精度に達するかを予測する「計算資源の最適化」がエキスパートには求められます。