AIF-C01#68(fundamentals-ai-ml)
AIプラクティショナーが、Amazon SageMakerモデルのパフォーマンスを評価しています。AIプラクティショナーはパフォーマンス指標を選択する必要があります。その指標は、「正しく分類された項目の数」と、「正しく分類された項目および誤って分類された項目の総数」との比率を示す必要があります。 この要件を満たす指標はどれですか？
正解：A
正解の根拠
「正しく分類された数 ÷ 全体数」は正解率 (Accuracy) の定義そのもので、分類モデルの基本的なパフォーマンス指標です。SageMaker Autopilot や Clarify のレポートで標準的に提示されます。クラス分布が均衡していれば直感的かつ妥当な評価になります。
分類指標比較
| 指標 | 定義 |
|---|---|
| 正解率 | 正解数/全体数 |
| 適合率 | 正と予測中の真陽性比 |
| F1 スコア | 適合率と再現率の調和平均 |
| 再現率 | 真陽性/実際の正例 |
不正解の理由
- B: 適合率は正と予測したうち真陽性の割合で、全体に対する正解の比率とは定義が異なります。
- C: F1 スコアは適合率と再現率の調和平均で、本問の単純な正解比率の定義とは合致しません。
- D: 再現率は実際の正例のうち正しく検出した割合で、全予測に対する正解比率の定義とは異なります。
コメント