AI901-Concept#103-2
注: この問題は、同じ前提を持つ一連の問題の一部です。それぞれの問題には異なる解決策が提示されます。
前提
ある製造業企業が、技術文書 (約 8 万件) を参照する技術問い合わせ AI を Azure AI Foundry で構築・運用しています。ユーザーから「ときどき存在しない型番を回答する」という幻覚に関する苦情が増えています。設計と運用の改善が必要です。
解決策
幻覚を抑えるため、temperature を 1.8 まで上げて応答を「より創造的」にし、max_tokens を上限なしに設定して長文応答を生成、system message を削除してモデルに完全自由を与えます。
この解決策は目的を満たしますか?
解説
【判定: いいえ】の理由
本提案はすべて幻覚を増やす方向の設定変更で、要件と真逆です。temperature を上げると応答のランダム性が増し、根拠のない事実主張が出やすくなります。max_tokens 無制限は冗長な生成を許容し、その過程で誤情報が混入する余地を広げます。system message を削除すると「該当する型番だけ回答する」「不確実なら答えない」といったガードレールが消失し、誤答リスクが急上昇します。本来は temperature を低く、システム メッセージで「ソースに基づき回答、不確実なら回答拒否」を明示、max_tokens を適切に制限し、Content Safety の groundedness を併用するのが正解です。
【「はい」が違う理由】
3 つの変更すべてが幻覚を悪化させる方向で、技術問い合わせ AI の品質を破壊します。「目的を満たす」と判断する根拠はありません。
本提案はすべて幻覚を増やす方向の設定変更で、要件と真逆です。temperature を上げると応答のランダム性が増し、根拠のない事実主張が出やすくなります。max_tokens 無制限は冗長な生成を許容し、その過程で誤情報が混入する余地を広げます。system message を削除すると「該当する型番だけ回答する」「不確実なら答えない」といったガードレールが消失し、誤答リスクが急上昇します。本来は temperature を低く、システム メッセージで「ソースに基づき回答、不確実なら回答拒否」を明示、max_tokens を適切に制限し、Content Safety の groundedness を併用するのが正解です。
【「はい」が違う理由】
3 つの変更すべてが幻覚を悪化させる方向で、技術問い合わせ AI の品質を破壊します。「目的を満たす」と判断する根拠はありません。
コメント