AIF-C01#64(fundamentals-ai-ml)
ある金融会社が、顧客離脱（カスタマーチャーン）を予測するための機械学習（ML）モデルをデプロイしました。モデルは本番環境で1週間稼働しています。同社は、モデルの離脱予測が実際の顧客の行動とどの程度正確に一致しているかを評価したいと考えています。 この要件を満たす指標はどれですか？
正解：C
正解の根拠
顧客離脱予測は離脱/非離脱の二値分類タスクで、適合率と再現率の調和平均である F1 スコアが、本番運用で実際の行動と予測の一致度を評価する代表指標です。クラス不均衡が起きやすいチャーン予測でも各クラスの検出バランスを公平に測れます。
指標の比較
| 指標 | 用途 |
|---|---|
| F1 スコア | 二値分類のバランス評価 |
| RMSE | 回帰の誤差 |
| ROI | ビジネス収益指標 |
| BLEU | 機械翻訳評価 |
不正解の理由
- A: RMSE は連続値の誤差指標で、離脱/非離脱の分類精度評価には適合しません。
- B: ROI は投資収益率というビジネス指標で、モデルの予測精度を直接測る統計指標ではありません。
- D: BLEU は機械翻訳の評価指標で、二値分類タスクの予測一致度評価には用いられません。
コメント