WEB問題集
本番のSageMakerリアルタイムエンドポイントで、ある日からモデルのF1スコアが徐々に低下している疑いがあります。本番推論データに対してラベル付けを行い、定期的にモデル品質を計測したい場合、最も適したサービス機能はどれですか。
正解：C
正解の根拠
SageMaker Model MonitorのModel Quality モニタリングは、本番推論結果と人手ラベル（Ground Truth）を突合してAccuracy/F1/RMSEなどモデル指標のドリフトを検出する機能です。S3に保存したGround Truthラベルとキャプチャ済みの推論を結合し、定期的にベースラインから乖離していないかを評価できます。
Model Monitorのモニタータイプ
| モニタータイプ | 検出対象 | 必要データ |
|---|---|---|
| Data Quality | 入力分布の変化 | キャプチャ入力 |
| Model Quality | 精度・F1の劣化 | キャプチャ＋ラベル |
| Bias Drift | 公平性の変化 | キャプチャ＋ラベル |
| Feature Attribution Drift | SHAP寄与度変化 | キャプチャ |
不正解の理由
- D: Data Qualityは入力統計の変化のみ検出し、F1/Accuracy劣化は直接見られません。
- A: Pre-training Biasは学習前のデータバイアス評価であり、本番品質モニタリングではありません。
- B: ログ分析では構造化されたモデル品質ベースラインと統計的検定を行えません。
本番のSageMakerエンドポイントについて、推論API呼び出し数、モデル処理時間、5XXエラー率、CPU使用率を一画面で可視化したいです。追加のエージェント導入なしで取得できるのはどれですか（2つ選択）。
（2つ選択）
正解：A, E
正解の根拠
SageMakerエンドポイントは、追加エージェントなしで2つの主要CloudWatchネームスペースに自動でメトリクスを送信します。AWS/SageMakerにはInvocations、Invocation4XXErrors、Invocation5XXErrors、ModelLatency、OverheadLatencyなどの呼び出し系指標が、/aws/sagemaker/EndpointsにはCPUUtilization、MemoryUtilization、GPUUtilization、DiskUtilizationなどのインスタンスリソース指標が出力されます。
主要メトリクス対応表
| ネームスペース | 代表メトリクス | 用途 |
|---|---|---|
| AWS/SageMaker | Invocations, ModelLatency, 5XXErrors | API品質監視 |
| /aws/sagemaker/Endpoints | CPU/Memory/GPUUtilization | リソース監視 |
不正解の理由
- B: AWS/Bedrock は Amazon Bedrock 専用ネームスペースで、SageMaker エンドポイントは別系統のため指標は出力されず可視化対象になりません。
- C: X-Ray の Bedrock 分散トレースは Bedrock 呼び出し向けの可観測性機能で、SageMaker エンドポイントの API 呼び出しメトリクスは対象外です。
- D: AWS/EC2 ネームスペースはユーザー管理 EC2 向けで、マネージドな SageMaker エンドポイントの基盤インスタンスからは収集されません。
あるチームは毎晩SageMaker Pipelinesでバッチ学習ジョブを実行しています。ジョブが何らかの理由でキックされず指標が欠損した日も、運用者にアラートを出したいです。CloudWatchアラームのどの設定が適切ですか。
正解：C
正解の根拠
CloudWatchアラームの「欠損データの扱い」をbreaching（不正）に設定すると、メトリクスが投稿されなかった評価期間も「アラーム状態」と判定され、ジョブ未実行の検知に利用できます。バッチ系で「実行されたこと自体」を監視したい場合の定石です。
欠損データ扱いオプション
| 設定 | 挙動 | 用途 |
|---|---|---|
| notBreaching | 正常扱い | 断続的メトリクス |
| breaching | 異常扱い | 必須メトリクス欠損検知 |
| ignore | 状態維持 | ノイズ抑制 |
| missing | INSUFFICIENT_DATA | 判定保留 |
不正解の理由
- A: 正常扱いではジョブ未実行を検知できません。
- B: 無視するとアラームが上がらず検知漏れになります。
- D: 同上、欠損無視では失敗扱いになりません。
本番モデルの公平性が時間とともに変化していないか継続的にモニタリングする必要があります。性別や人種など機微属性に対するバイアスドリフトを定期的に検出する適切な機能はどれですか。
正解：D
正解の根拠
SageMaker Model Monitorは、Clarifyを内部的に活用しBias Drift Monitoringを提供します。事前に作成したベースライン（DPL/DI等の公平性指標）と本番推論データの統計を比較し、しきい値超過時にCloudWatchアラームを発火できます。
Clarify指標の例
| 指標 | 意味 |
|---|---|
| DPL | 事前学習バイアス |
| DI | 事後デモグラフィック格差 |
| RD | Recall差 |
| SHAP | 特徴寄与度 |
不正解の理由
- A: CloudTrailはAPI呼び出し監査用で、公平性評価機能はありません。
- B: Macieは機微情報検出用です。
- C: Debuggerは学習中の数値異常検知用で、本番バイアス監視ではありません。
SageMakerで学習・推論に使用するS3データとモデル成果物を、組織のセキュリティ基準に従い顧客管理キー（CMK）で暗号化したいです。実装すべき設定の組み合わせを2つ選んでください。
（2つ選択）
正解：C, D
正解の根拠
SageMaker のトレーニングジョブでは ResourceConfig.VolumeKmsKeyId で内部 EBS ボリュームを CMK 暗号化、OutputDataConfig.KmsKeyId で S3 出力アーティファクトを CMK 暗号化できます。両方を CMK で構成することで保管時暗号化の組織要件を満たせます。
暗号化対象
| 項目 | 設定 |
|---|---|
| EBS | VolumeKmsKeyId |
| S3 出力 | OutputDataConfig.KmsKeyId |
不正解の理由
- A: パブリックアクセスブロックは外部公開抑止が目的の設定で、CMK による保管時暗号化の機能は提供されていません。
- B: CloudFront フィールドレベル暗号化はフォーム送信時の特定フィールド保護が目的で、SageMaker 学習データ暗号化用途には適合しません。
- E: Macie は S3 内の機密データ検出が目的のサービスで、KMS による保管時暗号化を行う機能は備えていません。