AI901-Concept#83
Azure OpenAI 推論の top_p (nucleus sampling) パラメータが制御する内容として、最も適切なものはどれですか?
解説
【正解: A】の理由
top_p (nucleus sampling) は次トークン分布のうち累積確率が p に達するまでの上位候補集合からサンプリングする手法です。例: top_p=0.9 では上位 90% の確率質量を持つ候補だけを使い、希少な誤候補を除外します。temperature と組み合わせて出力多様性と一貫性のバランスを取ります。
【他選択肢が違う理由】
top_p (nucleus sampling) は次トークン分布のうち累積確率が p に達するまでの上位候補集合からサンプリングする手法です。例: top_p=0.9 では上位 90% の確率質量を持つ候補だけを使い、希少な誤候補を除外します。temperature と組み合わせて出力多様性と一貫性のバランスを取ります。
【他選択肢が違う理由】
- B: レイテンシ上限は別パラメータ (timeout) の話です。
- C: リージョン優先度は別の設定です。
- D: 再試行は SDK のクライアント設定です。

コメント