AI901-Concept#46
Transformer アーキテクチャの構成要素として正しいものを 2 つ選択してください。
2 つ選択してください
解説
【正解: A, C】の理由
A は Transformer の中核で、Q/K/V を複数の head で並列計算します。C は各位置に独立適用される 2 層 MLP で、attention 後の非線形変換を担います。両者が交互に積層されるのが Transformer 標準構成です。
【他選択肢が違う理由】
A は Transformer の中核で、Q/K/V を複数の head で並列計算します。C は各位置に独立適用される 2 層 MLP で、attention 後の非線形変換を担います。両者が交互に積層されるのが Transformer 標準構成です。
【他選択肢が違う理由】
- B: 畳み込みは CNN の構成で、Transformer の本流ではありません。
- D: LSTM / GRU は RNN 系で、Transformer が置き換えた構造です。
- E: クラスタリング層は教師なし学習の話で、Transformer 内部にはありません。

コメント