AI901-Concept#15-2
注: この問題は、同じ前提を持つ一連の問題の一部です。それぞれの問題には異なる解決策が提示されます。
前提
ある総合病院が、救急受付の患者トリアージを支援する AI システムを Azure AI Foundry で開発・運用しています。誤判定は患者の安全に直結するため、本番運用中の品質と信頼性を継続的に担保する必要があります。
解決策
デプロイ前に作成した検証用テスト セットだけで定期的に再評価を行い、本番で実際にやり取りされたデータの分布や応答結果は監視対象としません。
この解決策は目的を満たしますか?
解説
【判定: いいえ】の理由
テスト セットのみの評価では、本番環境で発生するデータ分布のドリフト (季節性 / 患者層の変化 / 新症例の出現 / 新興感染症の流行) を検出できません。Reliability and safety の運用では、テスト データと本番データの両方を継続的に観測し、性能劣化や異常入力を早期に発見する必要があります。本番監視を欠いた構成では、致命的な誤判定が顕在化するまで気づけないリスクが残り、医療領域では特に許容できません。Azure Monitor の本番ログ収集と組み合わせるのが必須です。
【「はい」が違う理由】
テスト セットの定期評価は重要ですが、それだけでは観測の半分しか満たしておらず、本番データのドリフトに対する防御が抜けています。患者安全に関わる high-stakes 領域で本番監視を省略するのは、「目的を満たす」とは到底判定できず、Reliability and safety の運用要件を見落とした設計です。
テスト セットのみの評価では、本番環境で発生するデータ分布のドリフト (季節性 / 患者層の変化 / 新症例の出現 / 新興感染症の流行) を検出できません。Reliability and safety の運用では、テスト データと本番データの両方を継続的に観測し、性能劣化や異常入力を早期に発見する必要があります。本番監視を欠いた構成では、致命的な誤判定が顕在化するまで気づけないリスクが残り、医療領域では特に許容できません。Azure Monitor の本番ログ収集と組み合わせるのが必須です。
【「はい」が違う理由】
テスト セットの定期評価は重要ですが、それだけでは観測の半分しか満たしておらず、本番データのドリフトに対する防御が抜けています。患者安全に関わる high-stakes 領域で本番監視を省略するのは、「目的を満たす」とは到底判定できず、Reliability and safety の運用要件を見落とした設計です。

コメント