AIF-C01#83(fundamentals-generative-ai)
【問題2/3】ある企業が大規模言語モデル（LLM）を開発し、複数の社内チームで利用できるようにしたい と考えています。各チームのユースケースに適した推論モード（inference mode）を選択する必要があります。 以下のリストから、各ユースケースに適した推論モードを選択してください。各推論モードは、一度または複数回選択することができます。 【問題/ユースケース】データ処理ジョブは、週末に LLM を使用してギガバイト単位のテキストファイルを処理する必要がある。 
正解：A
正解の根拠
週末にギガバイト規模のテキストファイルをまとめて処理する要件はバッチ推論 (Batch Transform) が最適です。SageMaker Batch Transform は S3 上の大量入力を一括処理し、結果を S3 に書き戻す非同期ジョブで、エンドポイントを常時稼働させる必要がなく低コストで大規模処理を実行できます。レイテンシ要件のないオフライン処理に向きます。
推論モードの選択基準
| モード | 適性 |
|---|---|
| Batch Transform | 大量データの定期一括処理 |
| Real-time | 低遅延の対話 API |
| Async Inference | 長時間 1 件処理 |
| Serverless | 不定期トラフィック |
不正解の理由
- B: リアルタイム推論はエンドポイント常時稼働でコスト高く、週末一括ジョブにはオーバースペックです。
コメント