AIF-C01#48(fundamentals-generative-ai)
ある企業が大規模言語モデル（LLM）を開発していますが、LLMの出力が期待していたほど多様ではない（outputs are not as diverse as expected）ことに気づきました。 この会社はどのパラメータを調整すべきですか？
正解：A
正解の根拠
Temperature は LLM のサンプリング温度を制御するパラメータで、値を大きくすると確率分布がフラット化し、低確率トークンも選ばれやすくなって出力の多様性が増します。Bedrock の InvokeModel で 0〜1 (一部モデルは 2 まで) の範囲で指定でき、創造性が必要なタスクでは値を上げ、決定的な回答が必要なら下げる、というのが基本運用です。
推論パラメータの役割
| パラメータ | 効果 |
|---|---|
| Temperature | 多様性とランダム性 |
| Top-p / Top-k | 候補の絞込み |
| Batch size | 訓練時のミニバッチ数 |
| Learning rate | 訓練時の更新ステップ幅 |
不正解の理由
- B: バッチサイズは訓練時のミニバッチ数で、推論時の出力多様性を直接制御するパラメータではありません。
- C: 学習率は訓練時の重み更新ステップで、デプロイ済みモデルの推論多様性とは無関係です。
- D: オプティマイザは訓練アルゴリズムの選択で、推論時の出力多様性に直接影響しません。
コメント