AZ900-Architect#112
モダン データ プラットフォームの標準的なデータ パイプライン構築の順序に並べ替えてください。
- Ingest (取り込み): Data Factory / Synapse Pipeline で多様なソース (DB / SaaS / IoT / ログ) からデータ レイクへ取り込み
- Transform (変換): Spark / Data Flow / Mapping Data Flow で正規化 / クレンジング / エンリッチメント
- Serve (提供): Dedicated SQL Pool / Synapse Serverless / Databricks SQL で分析向けにモデリング
- Visualize (可視化): Power BI / Tableau / Excel でダッシュボード / レポート / ML モデル予測結果を可視化
解説
【正しい順序: Ingest → Transform → Serve → Visualize】の理由
モダン データ プラットフォームでは Medallion アーキテクチャに沿って段階的に処理を進めます。Step 1 Ingest では Data Factory / Synapse Pipeline が 100+ コネクタで OLTP / SaaS / IoT / ログから Data Lake へ生データを取り込みます。Step 2 Transform では Spark / Data Flow で正規化 / クレンジング / エンリッチメントを実施し分析しやすい形に整えます。Step 3 Serve では Dedicated SQL Pool / Databricks SQL でディメンショナル モデリングや集計マートを構築し BI から高速アクセスできる形に最適化します。Step 4 Visualize では Power BI / Tableau がダッシュボードや ML 予測結果を可視化し意思決定に活用されます。
コメント