PDE#5(ingesting)
マーケティング部門は ETL コードを書ける人材が少なく、GUI でデータパイプラインを設計したいと希望しています。ソースは Salesforce や MySQL、宛先は BigQuery です。プラグインを追加して新コネクタを増やしたい場合があり、内部的には Dataproc が動く方式でも構いません。最適なサービスはどれですか？
正解：A
正解の根拠
Cloud Data Fusion は CDAP ベースのノーコード/ローコード ETL サービスで、ブラウザ上でドラッグ&ドロップでパイプラインを設計できます。Salesforce、各種 RDB、BigQuery などのコネクタが豊富で、内部で Dataproc を起動して実行します。プラグイン拡張も可能で、コーディング負荷を抑えつつ柔軟性も両立できます。
サービス比較
| 項目 | Data Fusion (C) | Composer (A) |
|---|---|---|
| UI | GUI 中心 | コード (Python) |
| コネクタ | 豊富、プラグイン拡張 | Operator 開発が必要 |
| 実行基盤 | Dataproc 内部利用 | Operator 委譲 |
不正解の理由
- C: Composer は Python によるコーディングが前提で、GUI で設計したい要件に合致しません。
- B: Dataflow テンプレートはパラメータ実行のみで、ETL の視覚的設計やコネクタ拡張には弱いです。
- D: Data Transfer Service は対応ソースが限定的で、Salesforce や柔軟な ETL には対応できません。
コメント