AI901-Concept#44
Transformer の self-attention 機構が果たす役割として最も適切なものはどれですか?
解説
【正解: A】の理由
self-attention は Query / Key / Value による重み計算で、各位置のトークンが他位置とどう関連するかを学習します。これにより文中の照応 / 構文 / 意味依存を捕捉でき、Transformer ベース LLM の表現力の源泉となります。
【他選択肢が違う理由】
self-attention は Query / Key / Value による重み計算で、各位置のトークンが他位置とどう関連するかを学習します。これにより文中の照応 / 構文 / 意味依存を捕捉でき、Transformer ベース LLM の表現力の源泉となります。
【他選択肢が違う理由】
- B: シャッフルではなく重み付き集約です。
- C: API レイヤーの話で、attention とは無関係です。
- D: GPU メモリ管理はランタイムの責務です。

コメント