AI901-Foundry#14-2
注: この問題は、同じ前提を持つ一連の問題の一部です。それぞれの問題には異なる解決策が提示されます。
前提
あるカスタマー サポート企業が、顧客からの問い合わせメールを以下 3 カテゴリーに自動分類する AI を Azure AI Foundry で構築します: (1) Technical Issue / (2) Billing / (3) General Inquiry。出力は厳密に上記カテゴリー名のみで、追加コメントは不要、誤分類は最小化したい状況です。
解決策
プロンプトには一切例示を入れず、user message に「以下のメールを分類して」とだけ書き、追加のコメントを禁じる指示もなしで対象メールを渡します。
この解決策は目的を満たしますか?
解説
【判定: いいえ】の理由
本提案は例示なし (zero-shot) かつ出力形式制約なしで、要件 (3 カテゴリーのみ厳密、追加コメント不要、精度最大化) を満たせません。zero-shot では分類カテゴリー名や形式の解釈にばらつきが生まれやすく、GPT-4o であっても「Technical Issue」を「Tech Support」と書き換えたり、説明文を付加したりする可能性が高くなります。誤分類最小化が要件であれば、Microsoft 公式の prompt engineering ガイドが推奨する few-shot 例示 + 形式厳密指定 のアプローチが必須です。さらに、明示的な禁止ルール (「カテゴリー名のみで他のテキストは出力禁止」など) を加えることで品質が安定します。本提案はコスト・実装の手間を理由に品質を犠牲にする誤った判断です。
【「はい」が違う理由】
要件 (厳密性 / 形式制御 / 誤分類最小化) のいずれも満たせないため、「目的を満たす」と判定する根拠はありません。
本提案は例示なし (zero-shot) かつ出力形式制約なしで、要件 (3 カテゴリーのみ厳密、追加コメント不要、精度最大化) を満たせません。zero-shot では分類カテゴリー名や形式の解釈にばらつきが生まれやすく、GPT-4o であっても「Technical Issue」を「Tech Support」と書き換えたり、説明文を付加したりする可能性が高くなります。誤分類最小化が要件であれば、Microsoft 公式の prompt engineering ガイドが推奨する few-shot 例示 + 形式厳密指定 のアプローチが必須です。さらに、明示的な禁止ルール (「カテゴリー名のみで他のテキストは出力禁止」など) を加えることで品質が安定します。本提案はコスト・実装の手間を理由に品質を犠牲にする誤った判断です。
【「はい」が違う理由】
要件 (厳密性 / 形式制御 / 誤分類最小化) のいずれも満たせないため、「目的を満たす」と判定する根拠はありません。
コメント