Transformer教程.docx.docx

transformer 主要特点 自注意力机制： Transformer 的核心在于其自注意力机制，能够在一次计算中捕获输入序列中任意两个位置之间的依赖关系，使得对长距离依赖的捕捉变得更加有效。 并行计算： 传统的 RNN 模型需要依次处理序列中的元素，而 Transformer 可以并行处理序列中的所有元素，大大提高了计算效率。 层次化结构： Transformer 由多个编码器层和解码器层组成，每一层都含有自注意力和前馈神经网络部分，采用残差连接和层正则化，确保信息穿越深层网络时保持稳定。 无序列依赖： Transformer 不依赖于序列的先后顺序，通过位置编码（Positional Encoding）来捕捉序列中的顺序信息。