AIF-C01#20(fundamentals-generative-ai)

正解：A

正解の根拠

トークンは生成 AI モデルが扱う入力と出力の最小処理単位で、単語、サブワード、文字、句読点などをトークナイザが分割して数値 ID 列に変換します。Bedrock の各 LLM は内部でトークナイザを持ち、入出力トークン数が課金とコンテキスト上限に直結します。トークン化により語彙サイズと OOV 問題のバランスが取られます。

関連用語の整理

不正解の理由

• B: 単語や概念の数学的表現は埋め込み (embedding) の定義で、トークン自体ではなく後段の数値化結果を指します。
• C: 事前学習済みの重み (weights) はモデルパラメータの説明であり、トークンの定義とは異なる概念です。
• D: プロンプトや指示はモデル入力テキスト全体を指す用語で、その中の最小単位であるトークンとは別レイヤです。

参考：Amazon Bedrock 概要