AI901-Concept#42
Azure OpenAI で生成 AI を扱う際の トークン (token) とは、最も適切にはどれを指しますか?
解説
【正解: B】の理由
トークンは LLM の処理単位で、BPE / WordPiece 等の tokenizer で分割されます。英語では平均 1 トークン = 約 4 文字 / 約 0.75 単語、日本語では文字単位に近くなります。請求やコンテキスト長の計算でもトークンが基本単位です。
【他選択肢が違う理由】
トークンは LLM の処理単位で、BPE / WordPiece 等の tokenizer で分割されます。英語では平均 1 トークン = 約 4 文字 / 約 0.75 単語、日本語では文字単位に近くなります。請求やコンテキスト長の計算でもトークンが基本単位です。
【他選択肢が違う理由】
- A: 単語より細かい単位がトークンです。
- C: リソース ID は Azure Resource Manager の領域です。
- D: API キーは認証情報で、トークン化対象ではありません。

コメント