AIF-C01#31(fundamentals-ai-ml)
あるAI実務者が、トレーニングデータセットでモデルをトレーニングしました。そのモデルはトレーニングデータでは良好な性能（精度）を示しましたが、評価データ（テストデータ）では良好な性能を示しませんでした。 この問題の最も可能性の高い原因は何ですか？
正解：D
正解の根拠
訓練データでは高精度ながら評価データで性能が落ちる現象は、訓練データに過剰適合した過学習 (オーバーフィッティング) です。モデル容量過大、訓練データ不足、正則化不足が主因で、対策としては正則化強化、データ拡張、早期終了、ドロップアウトなどが取られます。SageMaker でも検証損失監視と組合せ可能です。
性能ギャップの典型診断
| 症状 | 原因 |
|---|---|
| train高/test低 | 過学習 |
| train低/test低 | 未学習 |
| 群間差大 | バイアス |
| 応答低品質 | プロンプト改善余地 |
不正解の理由
- A: 未学習なら訓練データでも性能が低く、訓練データ高精度の状況とは矛盾します。
- B: プロンプトエンジニアリングは LLM の応答制御に関する話で、教師あり学習の汎化性能ギャップ問題には直接該当しません。
- C: バイアスはサブグループ間の予測差として現れる現象で、train/test 全体の性能ギャップを単独説明する原因ではありません。
コメント