DP-900-CORE#74
典型的な分析パイプラインで、データが流れる順番を上から順に並べてください。
- データ取り込み (Ingestion) — ソースから生データを Data Lake / Blob に投入
- 処理・変換 (Processing / Transformation) — Spark / SQL でクレンジング・集計
- 分析データ ストアへの保存 (Storage) — Synapse / Fabric Warehouse 等
- モデル化 (Modeling) — Power BI セマンティック モデルでスター スキーマ化
- 可視化 (Visualization) — Power BI レポート / ダッシュボード
解説
【正しい順序】取り込み (Ingestion) → 処理 (Processing) → 保存 (Storage) → モデル化 (Modeling) → 可視化 (Visualization) です。
この 5 段階は Microsoft の Modern Analytics Architecture の標準パターンであり、Lakehouse でもデータ ウェアハウスでも共通する基本フローです。順序を入れ替えると、データなしの可視化は不可能であり、モデル化なしのレポートは保守性が低く、保存なしの分析は再現性を損ねるなど、各段階の前提条件が壊れます。
出典: Microsoft Learn — Explore data analytics in Azure › The data analytics process
| 段階 | Azure 系サービス例 | 目的 |
|---|---|---|
| 1. Ingestion | Data Factory、Event Hubs、Fabric Data Pipelines | 多様なソースから生データを Lake に集約します |
| 2. Processing | Databricks、Synapse Spark、Fabric Notebook | スキーマ正規化、結合、集計を行います |
| 3. Storage | Synapse Dedicated SQL Pool、Fabric Warehouse、Delta Lake | 分析最適化されたフォーマットで保存します |
| 4. Modeling | Power BI Semantic Model、Fabric Direct Lake | ファクト/ディメンション、ビジネス指標を定義します |
| 5. Visualization | Power BI Service、ダッシュボード | 意思決定者向けの UI を提供します |
この 5 段階は Microsoft の Modern Analytics Architecture の標準パターンであり、Lakehouse でもデータ ウェアハウスでも共通する基本フローです。順序を入れ替えると、データなしの可視化は不可能であり、モデル化なしのレポートは保守性が低く、保存なしの分析は再現性を損ねるなど、各段階の前提条件が壊れます。
出典: Microsoft Learn — Explore data analytics in Azure › The data analytics process
コメント