AIF-C01#76(fundamentals-ai-ml)
ある金融機関が、クレジットカード取引における潜在的な不正ケースをフラグ立てする（印をつける）不正検出システムを開発しています。従業員は、フラグが立てられた不正ケースを評価します。この企業は、実際には不正ではないのにフラグが立てられたケース（誤検知）を従業員がレビューする時間を最小限に抑えたいと考えています。 この要件を満たす評価指標はどれですか？
正解：C
正解の根拠
適合率 (Precision) は「不正と予測したケースのうち実際に不正だった割合」を表し、誤検知 (False Positive) を抑えたいケースに最適な評価指標です。本シナリオは従業員のレビュー時間を最小化したい、つまり誤フラグを減らしたい要件のため Precision を重視します。SageMaker Clarify や Model Monitor で算出可能です。
主要評価指標の比較
| 指標 | 意味 |
|---|---|
| Precision | 陽性予測の正確さ (誤検知抑制) |
| Recall | 真陽性の捕捉率 (見逃し抑制) |
| Accuracy | 全予測の正答率 (不均衡に弱い) |
| Lift Chart | マーケ用の効果測定図 |
不正解の理由
- A: Recall は見逃し (False Negative) を抑える指標で、誤検知レビュー時間の最小化という本要件には合致しません。
- B: Accuracy は全体正答率で、不正検知のように陽性が稀なクラス不均衡データでは指標として誤導的になります。
- D: Lift Chart はマーケティングでターゲット効果を可視化する図で、誤検知率を直接最適化する指標ではありません。
コメント