AIF-C01#76(fundamentals-generative-ai)
企業がさまざまな長さの本を要約する AI アプリケーションを構築しています。テスト中、一部の本を要約できないことがわかりました。アプリケーションが一部の本を要約できない理由は何ですか？
正解：D
正解の根拠
各 FM にはコンテキストウィンドウと呼ばれる最大入力トークン数の制約があり (例 Claude 3 Haiku は約 20 万、Titan は数千〜数万)、これを超える入力は処理できずエラーまたは切り詰めが発生します。本のサイズが大きくトークン数が上限を超えると要約に失敗するのが典型的原因で、対策はモデル切替、チャンキング、Map-Reduce 要約などです。
長文要約の対策
| 対策 | 内容 |
|---|---|
| 長コンテキスト FM | Claude 200K など採用 |
| Chunking | 章ごとに分割要約 |
| Map-Reduce | 部分要約を統合 |
| RAG | 関連箇所のみ抽出 |
不正解の理由
- A: Temperature の高さは出力の多様性に影響しますが、入力長制約による失敗の原因にはなりません。
- B: ファインチューニング非対応であっても、ベースモデルでの推論自体は可能で、要約失敗の根本原因ではありません。
- C: Top P の設定は確率分布の選択で、入力長オーバーによる処理不能とは無関係です。
コメント