第3章：高度なデータ分析と大規模データ基盤

3-1. DWH（データウェアハウス）とデータレイク

大量のデータを分析するためには、通常のデータベースとは異なる構造が必要です。

• カラムナ（列指向）ストレージ:

  • データの持ち方を「行単位」ではなく「列単位」にします。

  • メリット: 特定の列（例：売上金額）の集計を行う際、不要な列を読み飛ばせるため、スキャン量が激減し、圧縮効率も極めて高くなります。

• データレイク:

  • 構造化データだけでなく、画像、音声、ログなどの非構造化データを「そのままの形」で安価に保存する場所（例：Amazon S3, Azure Data Lake）。

• レイクハウス（Lakehouse）:

  • データレイクの安価なストレージ上に、DWHのようなデータ管理（ACID特性やインデックス）を実現する新しいアーキテクチャ。

3-2. ETL/ELTパイプラインの設計

データをソース（源泉）から分析基盤へ移動させるプロセスです。

• ETL (Extract, Transform, Load):

  • データを抽出・変換してからロードする。DWHにきれいなデータを入れる際に伝統的に使われます。

• ELT (Extract, Load, Transform):

  • データを抽出して先にロードし、強力な計算資源を持つDWH/データレイク内で変換を行う。モダンなクラウド環境ではこちらが主流です。

• データ品質管理:

  • 分析結果の信頼性を保つため、パイプラインの途中でデータ型、欠損値、異常値をチェックする「データオブザーバビリティ」の概念が重要です。

3-3. ストリーム処理とリアルタイム分析

バッチ処理（1日1回など）ではなく、データが発生した瞬間に処理を行う手法です。

• CDC (Change Data Capture):

  • データベースの更新ログ（WALなど）を監視し、変更分だけをリアルタイムに他のシステムへ転送する技術。

• メッセージブローカー (Apache Kafka / Amazon Kinesis):

  • 大量のイベントデータを一時的に保持し、複数の分析エンジンへ配信するハブの役割を果たします。

• ストリームプロセッシング:

  • 流れてくるデータに対して、移動平均の計算や異常検知をリアルタイムに実行します。

3-4. カラムナストレージの最適化

エキスパートとして、物理構造への理解も求められます。

• パーティショニング: データを日付などで物理的なフォルダに分け、読み取り範囲を絞り込む。

• クラスタリングキー: データの並び順を最適化し、範囲検索を高速化する。

第3章のまとめ

• カラムナストレージが分析クエリ（集計）において圧倒的に有利である理由を理解する。

• モダンな環境では、計算資源を活かしたELTが推奨される。

• CDCとメッセージブローカーを組み合わせることで、鮮度の高い（リアルタイムな）分析基盤を構築できる。

• データレイクとDWHを融合したレイクハウス構成により、柔軟性と信頼性を両立する。