AIF-C01#59(fundamentals-generative-ai)
大規模言語モデル（LLM）において、テキスト生成プロセスの各ステップで検討される、次に続く可能性のある単語（またはトークン）の数を制御するパラメーターはどれですか？
正解：B
正解の根拠
Top K は LLM の各生成ステップで、確率上位 K 個の候補トークンに絞り込むサンプリングパラメータです。例えば Top K=50 とすれば、確率の高い 50 個の候補からのみ次のトークンを選択し、確率の低いトークンは除外されます。Bedrock の Claude や Titan などでも提供され、生成のランダム性と品質のバランス制御に使われます。
LLM 推論パラメータ比較
| パラメータ | 役割 |
|---|---|
| Top K | 候補トークン数を上位 K 個に制限 |
| Top P | 累積確率 P 以下の候補を採用 |
| Temperature | 確率分布の鋭さを調整 |
| Max tokens | 生成長の上限 |
不正解の理由
- A: Maximum tokens は生成される総トークン長の上限で、各ステップでの候補数制御ではありません。
- C: Temperature は確率分布の平坦化/鋭化を制御し、候補トークン数自体を絞る役割ではありません。
- D: バッチサイズは訓練時の処理単位で、推論時の候補トークン制御とは無関係です。
コメント