AI901-Concept#71-3
注: この問題は、同じ前提を持つ一連の問題の一部です。それぞれの問題には異なる解決策が提示されます。
前提
ある法律事務所が、頻繁に追加・改訂される社内判例データベース (1 万件) を参照してクライアント問い合わせに応答するアシスタントを Azure AI Foundry で構築します。判例は週次で更新され、最新情報を常に参照させる必要があります。
解決策
RAG パイプラインの出力品質を継続評価するため、Foundry の evaluation 機能で groundedness / relevance / coherence を定期測定し、しきい値を下回ったら index の再構築または再ランカ調整を行うガバナンス ループを構築します。
この解決策は目的を満たしますか?
解説
【判定: はい】の理由
RAG の品質は索引品質 / 検索品質 / モデル品質の積で決まり、いずれかの劣化が発生すると応答品質が落ちます。Foundry の evaluation framework が提供する groundedness (根拠付け度) / relevance (関連性) / coherence (一貫性) の定期測定により、品質劣化を早期検知できます。しきい値超過時の自動アラートと、index 再構築 / 再ランカ調整の運用フローを組み合わせることで、本番品質を持続的に保証する Microsoft 推奨パターンです。法律という高リスク領域では特に必須の運用設計です。
【「いいえ」が違う理由】
本ソリューションは継続評価 + 自動ガバナンスという RAG 運用のベスト プラクティスで、Foundry の機能で実装可能です。運用と評価の両軸を網羅した堅実な設計で、「目的を満たさない」と判断する根拠はありません。
RAG の品質は索引品質 / 検索品質 / モデル品質の積で決まり、いずれかの劣化が発生すると応答品質が落ちます。Foundry の evaluation framework が提供する groundedness (根拠付け度) / relevance (関連性) / coherence (一貫性) の定期測定により、品質劣化を早期検知できます。しきい値超過時の自動アラートと、index 再構築 / 再ランカ調整の運用フローを組み合わせることで、本番品質を持続的に保証する Microsoft 推奨パターンです。法律という高リスク領域では特に必須の運用設計です。
【「いいえ」が違う理由】
本ソリューションは継続評価 + 自動ガバナンスという RAG 運用のベスト プラクティスで、Foundry の機能で実装可能です。運用と評価の両軸を網羅した堅実な設計で、「目的を満たさない」と判断する根拠はありません。
コメント