MLS-C01#3(ml-operations)
あるメディア企業は、新バージョンのレコメンドモデルを本番に投入する前に、実際の本番リクエストで品質を比較したいと考えています。ユーザーへの応答品質には影響を与えず、現行モデルの応答を返したまま新モデルの推論結果も並行して計測したいです。最適な機能はどれですか。
正解：C
正解の根拠
SageMaker Shadow Tests (シャドーバリアント) は、本番トラフィックを複製して新モデルへ並行送信し、応答自体はユーザーに返さず計測のみ行う機能です。実トラフィック特性での性能評価が可能で、ユーザー体験を損なうことなく品質比較ができます。
| 方式 | ユーザー影響 | 実トラフィック | 主用途 |
|---|---|---|---|
| Shadow テスト | なし | はい | 事前性能比較 |
| カナリア | あり | はい | 段階リリース |
| 過去ログ再生 | なし | いいえ | オフライン検証 |
| マルチモデル | あり | はい | 多数モデル提供 |
不正解の理由
- A: 5% のユーザーには新モデルの応答が返るため、応答品質に影響が出る可能性があります
- B: 過去ログ再生では実時間トラフィックの分布や負荷特性を再現しきれません
- D: マルチモデルエンドポイントは多数モデルを効率提供する仕組みで、A/B 比較用途ではありません
参考：Shadow tests
コメント