ADP#1(data-preparation)
小売企業がオンプレミスのOracleデータベースから日次でBigQueryへ売上データを取り込みたいと考えています。データは数百GBで、CDC(変更データキャプチャ)は不要、夜間バッチで全件転送します。最も運用負荷が低くマネージドな取り込み方法はどれですか。
正解:D
正解の根拠
夜間バッチでCDC不要、全件転送という要件では、CSV/Avro等にエクスポートしてCloud Storage経由で bq load する方法がもっとも単純で運用負荷が低く、コストも低く抑えられます。マネージドコンポーネント(Cloud Storage、BigQuery Loadジョブ)のみで完結します。
| 選択肢 | 適合性 |
|---|---|
| A | Storage Transfer Service はOracleを直接ソースにできません |
| B | Datastreamは継続CDC向けで要件過剰 |
| C | シンプルなバッチETLの定石 |
| D | Dataflowは柔軟だが運用負荷が増える |
不正解の理由
- A: Storage Transfer Service のソースはS3/Azure/HTTP/オンプレPOSIXファイル等であり、Oracle を直接接続できません。
- B: Datastreamはストリーミングレプリケーション用途で、夜間バッチ全件転送には機能・コスト共に過剰です。
- C: Dataflowは強力ですが、テンプレート管理・パイプライン監視が必要で、要件に対して複雑すぎます。

コメント