AI901-Concept#48
以下の各ステートメントについて、Transformer / トークン / コンテキスト ウィンドウの説明として正しい場合は「はい」を、正しくない場合は「いいえ」を選択してください。
注: 正解 1 つにつき 1 点が与えられます。
| ステートメント | はい | いいえ |
|---|---|---|
self-attention 機構は系列内の任意の位置同士の依存関係を並列に計算できる。 Transformer の中核機能で、RNN の逐次処理に対する主要な優位性です。並列計算と長距離依存学習を両立します。 | ||
コンテキスト ウィンドウは入力プロンプトのトークン数のみを指し、生成出力のトークン数は含まれない。 context window は input + output の合計トークン数の上限で、両者を合わせた制約です。 | ||
日本語テキストは英語より 1 文字あたりのトークン数が多くなる傾向があり、コスト計算で考慮が必要となる。 日本語は tokenizer によっては文字単位に近い分割となり、英語比でトークンが増えがちです。請求とコンテキスト両面で影響します。 |
解説
【正解一覧】
| ステートメント | 正解 |
|---|---|
| self-attention 機構は系列内の任意の位置同士の依存関係を並列に計算できる。 | はい |
| コンテキスト ウィンドウは入力プロンプトのトークン数のみを指し、生成出力のトークン数は含まれない。 | いいえ |
| 日本語テキストは英語より 1 文字あたりのトークン数が多くなる傾向があり、コスト計算で考慮が必要となる。 | はい |
【各判定の詳細】
- 「self-attention 機構は系列内の任意の位置同士の依存関係を並列に計算できる。」→ はい: Transformer の中核機能で、RNN の逐次処理に対する主要な優位性です。並列計算と長距離依存学習を両立します。
- 「コンテキスト ウィンドウは入力プロンプトのトークン数のみを指し、生成出力のトークン数は含まれない。」→ いいえ: context window は input + output の合計トークン数の上限で、両者を合わせた制約です。
- 「日本語テキストは英語より 1 文字あたりのトークン数が多くなる傾向があり、コスト計算で考慮が必要…」→ はい: 日本語は tokenizer によっては文字単位に近い分割となり、英語比でトークンが増えがちです。請求とコンテキスト両面で影響します。
コメント