AIF-C01#94(fundamentals-generative-ai)
ある企業が、Amazon Bedrock 上の大規模言語モデル（LLM）を使用して感情分析を行いたいと考えています。同社は、同じ入力プロンプトに対してより一貫性のある応答を生成するようにLLMを調整する必要があります。 この要件を満たすために、推論パラメータに対してどの調整を行うべきですか？
正解：A
正解の根拠
Temperature を下げる (例 0〜0.2) と確率分布が鋭くなり、最も確率の高いトークンが選ばれやすくなって出力のランダム性が抑制されます。感情分析のように同一入力に対し一貫した分類結果を返したい用途では、Temperature=0 付近に設定することで再現性が最大化され、本番運用での評価や監査も容易になります。
推論パラメータと一貫性
| パラメータ | 低い値の効果 |
|---|---|
| Temperature | 決定論的、一貫性向上 |
| Top P | 候補狭め一貫性向上 |
| Max tokens | 長さ制限のみ |
不正解の理由
- B: Temperature を上げると分布が平坦になりランダム性が増すため、一貫性は逆に低下します。
- C: 出力長を短くしても応答内容のランダム性自体は制御できず、一貫性向上の主因ではありません。
- D: 最大生成長を増やすことは長さ制限の緩和に過ぎず、応答内容の安定性とは無関係です。
コメント