ADP#1(data-preparation)

ADP#1(data-preparation)

小売企業がオンプレミスのOracleデータベースから日次でBigQueryへ売上データを取り込みたいと考えています。データは数百GBで、CDC(変更データキャプチャ)は不要、夜間バッチで全件転送します。最も運用負荷が低くマネージドな取り込み方法はどれですか。

ディスカッション 0

正解:D

正解の根拠

夜間バッチでCDC不要、全件転送という要件では、CSV/Avro等にエクスポートしてCloud Storage経由で bq load する方法がもっとも単純で運用負荷が低く、コストも低く抑えられます。マネージドコンポーネント(Cloud Storage、BigQuery Loadジョブ)のみで完結します。

選択肢適合性
AStorage Transfer Service はOracleを直接ソースにできません
BDatastreamは継続CDC向けで要件過剰
CシンプルなバッチETLの定石
DDataflowは柔軟だが運用負荷が増える

不正解の理由

  • A: Storage Transfer Service のソースはS3/Azure/HTTP/オンプレPOSIXファイル等であり、Oracle を直接接続できません。
  • B: Datastreamはストリーミングレプリケーション用途で、夜間バッチ全件転送には機能・コスト共に過剰です。
  • C: Dataflowは強力ですが、テンプレート管理・パイプライン監視が必要で、要件に対して複雑すぎます。

参考:Loading data from Cloud Storage


コメント

コメント

コメントする

目次