AIF-C01#44(fundamentals-generative-ai)
ある企業が Amazon Bedrock を使用して、ウェブサイト上に生成AIアシスタントを実装しました。このAIアシスタントは、顧客の製品推奨や購入決定をサポートします。 この企業は、AIアシスタントが売上パフォーマンス（sales performance）に与えた直接的な影響（direct impact）を測定したいと考えています。 この要件を満たす指標（メトリクス）はどれですか？
正解：A
正解の根拠
AI アシスタントが売上に与えた直接効果を測るには、対話したユーザーのうち実際に購入に至った割合 (コンバージョン率) を追跡するのが最も妥当です。これは事業 KPI に直結する指標であり、CloudWatch カスタムメトリクスや QuickSight 等で可視化することで、AI 改善施策と売上効果の因果関係を定量評価できます。
指標の観点比較
| 指標 | 意味 |
|---|---|
| コンバージョン率 | 売上への直接効果 |
| 対話回数 | 利用量 (KPI ではあるが間接) |
| 感情分析スコア | 顧客満足の代理指標 |
| NLU 正確率 | モデル品質の内部指標 |
不正解の理由
- B: 対話回数はエンゲージメント指標で、購入行動という売上成果との直接的因果は弱いです。
- C: 感情分析スコアは満足度の代理指標で、売上金額や購入数への直接効果を表す指標ではありません。
- D: NLU 正確率はモデル内部の品質メトリクスで、ビジネス成果である売上への直結効果を測る指標ではありません。
コメント