Transformer 架构
2
编码器
• 由N个block堆叠而成；
• 每个block有两层：
• Multi-Head Attention (Self-Attention)
+ Add (Residual Connection)
+ Norm (LayerNorm)；
• Feed Forward
+ Add (Residual Connection)
+ Norm (LayerNorm)；
• Block
1
～Block
N-1
的输出：输入到下个
Block；
• Block
N
的输出：输入到解码器的各层中。
解码器
• 由N个block堆叠而成；
• 每个block有三层：
• Masked Multi-Head Attention (Self-Attention)
+ Add (Residual Connection)
+ Norm (LayerNorm)；
• Multi-Head Attention (Co-Attention)
+ Add (Residual Connection)
+ Norm (LayerNorm)；
• Feed Forward
+ Add (Residual Connection)
+ Norm (LayerNorm)；
• Block
1
～Block
N-1
的输出：输入到下个Block；
• Block
N
的输出：输入到后续的Linear层中。
