AI901-Concept#103-3
注: この問題は、同じ前提を持つ一連の問題の一部です。それぞれの問題には異なる解決策が提示されます。
前提
ある製造業企業が、技術文書 (約 8 万件) を参照する技術問い合わせ AI を Azure AI Foundry で構築・運用しています。ユーザーから「ときどき存在しない型番を回答する」という幻覚に関する苦情が増えています。設計と運用の改善が必要です。
解決策
Azure AI Foundry の evaluation framework で本番ログを継続評価し、groundedness / relevance / coherence の各指標を時系列で可視化、しきい値を下回った場合は vector index の chunk 戦略や embedding モデル / retrieval top-K を再調整する継続改善ループを構築します。
この解決策は目的を満たしますか?
解説
【判定: はい】の理由
継続的な品質評価 + 検索層の調整ループは、RAG 本番運用での品質維持に必須のパターンです。Foundry の evaluation framework は groundedness / relevance / coherence の各指標を定量化し、Azure Monitor / Application Insights と連携して時系列ダッシュボード化できます。指標が劣化した場合の chunk 戦略 (段落単位 / 文単位) の見直し、embedding モデルの切替 (small → large)、上位 K 件数の調整は RAG 品質改善の標準操作で、いずれも Foundry のパイプライン設定で実施可能です。Microsoft 公式の RAG 運用ベスト プラクティスにも完全に沿った設計です。
【「いいえ」が違う理由】
本ソリューションは継続評価 + 自動ガバナンスループの模範例で、Foundry の標準機能で構築可能です。「目的を満たさない」と判断する根拠はありません。
継続的な品質評価 + 検索層の調整ループは、RAG 本番運用での品質維持に必須のパターンです。Foundry の evaluation framework は groundedness / relevance / coherence の各指標を定量化し、Azure Monitor / Application Insights と連携して時系列ダッシュボード化できます。指標が劣化した場合の chunk 戦略 (段落単位 / 文単位) の見直し、embedding モデルの切替 (small → large)、上位 K 件数の調整は RAG 品質改善の標準操作で、いずれも Foundry のパイプライン設定で実施可能です。Microsoft 公式の RAG 運用ベスト プラクティスにも完全に沿った設計です。
【「いいえ」が違う理由】
本ソリューションは継続評価 + 自動ガバナンスループの模範例で、Foundry の標準機能で構築可能です。「目的を満たさない」と判断する根拠はありません。
コメント