AIF-C01#93(fundamentals-generative-ai)
ある研究会社が、Amazon Bedrock の基盤モデルを使用してチャットボットを実装しました。このチャットボットは、研究論文の大規模なデータベースから質問の回答を検索します。 複数回のプロンプトエンジニアリングの試行を行った後、基盤モデルが研究論文に含まれる複雑な専門用語に対応できないため、性能が低下していることに気付きました。 チャットボットの性能を向上させるためには、どのようにすればよいですか？
正解：B
正解の根拠
研究論文の専門用語に対応できない場合、ドメイン適応ファインチューニング (Domain Adaptation Fine-tuning) が最も効果的です。Bedrock の Custom Model やカスタマイズジョブで、ドメイン特化のラベル付きデータや継続事前学習データを使い FM の重みを更新することで、専門用語への理解と回答品質を本質的に向上できます。プロンプト工夫だけでは到達できない精度域を実現します。
精度向上手法の使い分け
| 手法 | 適性 |
|---|---|
| Fine-tuning | 専門ドメインへの深い適応 |
| RAG | 最新事実の参照 |
| Prompt Engineering | 軽微な改善 |
| 推論パラメータ | 創造性の調整 |
不正解の理由
- A: Few-shot は数例の提示で改善できる範囲に限定され、未知用語の根本的理解には限界があります。
- C: 推論パラメータ変更は出力多様性の調整で、専門知識の追加学習にはなりません。
- D: 専門用語を削除すると論文の本質情報が失われ、ユースケースが成立しません。
コメント