AIF-C01#73(fundamentals-generative-ai)
トランスフォーマーベースの言語モデルに特徴的なものはどれですか？
正解：C
正解の根拠
トランスフォーマーアーキテクチャの最大の特徴は自己注意機構 (Self-Attention) です。各トークンが系列内の他の全トークンと並列に関連度を計算し、長距離依存関係や文脈関係を効果的に捉えます。これにより RNN の逐次処理ボトルネックを排除し、Bedrock の Claude や Titan、SageMaker JumpStart の各種 LLM の基礎となっています。
主要 NN アーキテクチャ比較
| 方式 | 特徴 |
|---|---|
| Transformer | 自己注意で並列処理 |
| CNN | 畳込みで局所パターン |
| RNN/LSTM | 逐次処理で系列保持 |
| MoE | 専門家層を選択活性化 |
不正解の理由
- A: 畳込み層は CNN の特徴で、Transformer の中核機構ではありません。
- B: マルチモーダル系 Transformer もありテキスト専用ではないため、定義として誤りです。
- D: 逐次処理は RNN の特徴で、Transformer は並列処理が利点です。
コメント