AI901-Foundry#31-2
注: この問題は、同じ前提を持つ一連の問題の一部です。それぞれの問題には異なる解決策が提示されます。
前提
ある保険会社のプロダクト チームが、新規の AI 査定アシスタント機能を開発しています。本番実装前に Stakeholder (営業 / 商品企画 / コンプラ部門) にコンセプトを示し、複数モデルやプロンプト パターンを比較検討する必要があります。Foundry portal の機能を活用する方針です。
解決策
Foundry portal は使わず、本番想定リクエスト 100 万件を SDK で直接送信してログから挙動を分析、その結果を Stakeholder に報告する方式に切り替えます。playground でのプロトタイピングは飛ばします。
この解決策は目的を満たしますか?
解説
【判定: いいえ】の理由
本提案は本番品質に進む前の必要なプロトタイピング工程をスキップしており、複数の問題を生みます。第一に、100 万件の本番想定リクエストを未検証のプロンプトで送ると無駄な API コスト (推定数十万〜数百万円) を消費し、業務上正当化できません。第二に、playground での Stakeholder 合意形成プロセスを飛ばすと、コンプラ部門が懸念を持つ表現や禁止トピックがリクエスト後に発覚し、再度のやり直しが必要になります。第三に、ログ分析だけでは応答品質のばらつきや system message の最適化を効率的に検討できず、リアルタイム比較 (GPT-4o vs Phi-4 等) の機会を失います。Microsoft 公式は playground を活用したプロトタイピング → SDK 本番実装の段階的アプローチを推奨しており、本提案はこの基本に反します。
【「はい」が違う理由】
コスト / 効率 / ステークホルダー合意のいずれも犠牲にしており、「目的を満たす」と判定する根拠はありません。
本提案は本番品質に進む前の必要なプロトタイピング工程をスキップしており、複数の問題を生みます。第一に、100 万件の本番想定リクエストを未検証のプロンプトで送ると無駄な API コスト (推定数十万〜数百万円) を消費し、業務上正当化できません。第二に、playground での Stakeholder 合意形成プロセスを飛ばすと、コンプラ部門が懸念を持つ表現や禁止トピックがリクエスト後に発覚し、再度のやり直しが必要になります。第三に、ログ分析だけでは応答品質のばらつきや system message の最適化を効率的に検討できず、リアルタイム比較 (GPT-4o vs Phi-4 等) の機会を失います。Microsoft 公式は playground を活用したプロトタイピング → SDK 本番実装の段階的アプローチを推奨しており、本提案はこの基本に反します。
【「はい」が違う理由】
コスト / 効率 / ステークホルダー合意のいずれも犠牲にしており、「目的を満たす」と判定する根拠はありません。

コメント