MLS-C01#4(ml-operations)
ある SaaS 企業は、テナントごとに学習させた数千個の小型モデルをホストする必要があります。各テナントのトラフィックは散発的で、エンドポイントを 1 つずつ立てるとコストが膨れ上がります。最もコスト効率の高い提供方式はどれですか。
正解：D
正解の根拠
SageMaker Multi-Model Endpoint (MME) は、共通の推論コンテナ上に多数のモデルをホストし、リクエスト時に必要なモデルを S3 から動的にロード/アンロードします。散発的トラフィックと大量モデルを 1 つのエンドポイントに集約でき、リソース利用率を最大化してコストを劇的に削減できます。
| 方式 | モデル数 | コスト | 適性 |
|---|---|---|---|
| Multi-Model Endpoint | 数千 | 非常に低い | 同フレームワーク多数 |
| Multi-Container | 最大 15 | 中 | 異種フレームワーク |
| 個別エンドポイント | 数十まで | 高い | 独立 SLA |
| Serverless 多数 | 限定的 | 中 | 低頻度独立 |
不正解の理由
- A: 数千個の Serverless エンドポイントは管理上限と運用コストの両面で現実的ではありません
- B: テナント数のインスタンスを並べる方式はリソース利用率が低く高コストになります
- C: テナント独立に学習されたモデルを単純結合すると精度劣化やリーク問題が生じます
コメント