AIF-C01#19(fundamentals-generative-ai)
ある企業が、大規模言語モデル（LLM）を使用して推論を生成する際のコストを評価したいと考えています。同社はAmazon Bedrockを使用して生成AIアプリケーションを構築しようとしています。 推論コストに影響を与える要因はどれですか？
正解：A
正解の根拠
Amazon Bedrock のオンデマンド推論料金は、入力トークンと出力トークンの合計数に対して課金されるトークン課金モデルを採用しています。したがって LLM 推論コストは消費トークン数に直接比例し、プロンプト圧縮や応答長の制御がコスト最適化の主軸になります。Provisioned Throughput を使えば時間単位課金へ切替えできますが、いずれにせよトークン量がスループット要件と直結します。
Bedrock 推論コスト要因
| 要因 | コストへの影響 |
|---|---|
| 入出力トークン数 | 従量課金の主要因 |
| モデル選択 | モデルごとに単価が異なる |
| Provisioned Throughput | 時間単位の固定課金 |
| Temperature | 課金には無関係 |
不正解の理由
- B: Temperature は出力のランダム性を制御する推論パラメータで、料金計算には影響せず、コスト要因ではありません。
- C: トレーニングデータ量はモデル提供側のコストに関わるもので、利用者の推論料金には反映されません。
- D: トレーニング総時間も同様にモデル開発側の指標であり、Bedrock 利用者の推論コストには直接関係しません。
コメント