AIF-C01#2(foundation-models)
基盤モデル（FM）がビジネス目標を効果的に達成しているかどうかを判断するための戦略はどれですか？
正解：C
正解の根拠
基盤モデルがビジネス目標を効果的に達成しているかを判断するには、特定のユースケースとの整合性を評価することが最も重要です。汎用ベンチマーク性能が高くても、業務固有の要件 (出力品質、トーン、ドメイン知識、KPI への寄与) を満たさなければビジネス価値は出ません。Bedrock のモデル評価ではユースケースに即した独自データセットや人間評価を実施でき、目標との適合度を測定できます。
FM 評価アプローチの比較
| 観点 | 内容 |
|---|---|
| ユースケース整合性 | 業務目標との適合度を評価 |
| ベンチマーク性能 | 汎用指標、業務適合は別途必要 |
| アーキテクチャ分析 | 技術的特性、ビジネス成果と直結せず |
| 計算リソース | 運用コスト評価の指標 |
不正解の理由
- A: ベンチマークは標準データセットでの汎用性能評価で、特定業務での実際のビジネス価値を直接示すわけではありません。
- B: アーキテクチャやハイパーパラメータ分析は技術的特性の理解に有用ですが、ビジネス目標達成度の判断軸ではありません。
- D: 計算リソースの測定はコストやレイテンシ評価には役立ちますが、ビジネス成果との適合性を評価する指標ではありません。
コメント