nlp中的Attention注意力机制+Transformer详解
146 浏览量
2021-02-24
01:48:39
上传
评论
收藏 730KB PDF 举报
nlp中的中的Attention注意力机制注意力机制+Transformer详解详解
一、Attention机制剖析
1、为什么要引入Attention机制？
根据通用近似定理，前馈网络和循环网络都有很强的能力。但为什么还要引入注意力机制呢？
计算能力的限制：当要记住很多“信息“，模型就要变得更复杂，然而目前计算能力依然是限制神经网络发展的瓶颈。
优化算法的限制：虽然局部连接、权重共享以及pooling等优化操作可以让神经网络变得简单一些，有效缓解模型复杂度和表
达能力之间的矛盾；但是，如循环神经网络中的长距离以来问题，信息“记忆”能力并不高。
可以借助人脑处理信息过载的方式，例如Attention机制可以提高神经网络处理信息的能力。
2、Attention机制有哪些？（怎么分类？）
当用神经网络来处理大量的输入信息时，也可以借鉴人脑的注意力机制，只 选择一些关键的信息输入进行处理，来提高神经
网络的效率。按照认知神经学中的注意力，可以总体上分为两类：
聚焦式（focus）注意力：自上而下的有意识的注意力，主动注意——是指有预定目的、依赖任务的、主动有意识地聚焦于某
一对象的注意力；
显著性（saliency-based）注意力：自下而上的有意识的注意力，被动注意——基于显著性的注意力是由外界刺激驱动的注
意，不需要主动干预，也和任务无关；可以将max-pooling和门控（gating）机制来近似地看作是自下而上的基于显著性的注
意力机制。
在人工神经网络中，注意力机制一般就特指聚焦式注意力。
3、Attention机制的计算流程是怎样的？
资源评论
