AIF-C01#101(fundamentals-generative-ai)
ある企業が、大規模言語モデル（LLM）を使用して会話型エージェントを開発したいと考えています。同社は、LLM が一般的なプロンプトエンジニアリング技術を使って操作され、不適切な行動を取ったり、機密情報を公開したりするのを防ぎたいと考えています。 このリスクを軽減するためにどのアクションを取るべきですか？
正解：A
正解の根拠
プロンプトインジェクションやジェイルブレイクへの基本的な対策として、攻撃パターンを認識して安全に応答するためのシステムプロンプトテンプレートを用意することが有効です。Bedrock Guardrails と組み合わせて使えば、機密情報の流出防止と不適切応答の抑止を多層防御で実現できます。
緩和策の役割
| 対策 | 効果 |
|---|---|
| システムプロンプト | 振る舞い指示と攻撃検知 |
| Bedrock Guardrails | 不適切コンテンツ抑止 |
| 入力検証 | 不正入力の事前ブロック |
| 出力モニタリング | 異常応答の検出 |
不正解の理由
- B: 温度パラメータを上げると出力のランダム性が増し、むしろ予測不能な応答や情報漏洩リスクを高めるため逆効果です。
- C: SageMaker のリストに依存する選定方針はベンダーロックイン的で、本質的なセキュリティ対策にはなりません。
- D: 入力トークン数を減らしても、攻撃パターン自体は短い文字列でも実行可能なため有効な防御策とは言えません。
コメント