综述：计算机视觉中的注意力机制综述：计算机视觉中的注意力机制
概要
为什么需要视觉注意力
计算机视觉（computer vision）中的注意力机制（attention）的基本思想就是想让系统学会注意力——能够忽略无关信息而关
注重点信息。为什么要忽略无关信息呢？
注意力分类与基本概念
神经网络中的「注意力」是什么？怎么用？
该文分为：硬注意力、软注意力、此外，还有高斯注意力、空间变换
就注意力的可微性来分：
Hard-attention，就是0/1问题，哪些区域是被 attentioned，哪些区域不关注.硬注意力在图像中的应用已经被人们熟知多年：
图像裁剪（image cropping）
硬注意力（强注意力）与软注意力不同点在于，首先强注意力是更加关注点，也就是图像中的每个点都有可能延伸出注意力，
同时强注意力是一个随机的预测过程，更强调动态变化。当然，最关键是强注意力是一个不可微的注意力，训练过程往往是通
过增强学习(reinforcement learning)来完成的。
硬注意力可以用Python（或Tensorflow）实现为：
g = I[y:y+h, x:x+w]
上述存在的唯一的问题是它是不可微分的；你如果想要学习模型参数的话，就必须使用分数评估器（score-function
estimator）关于这一点，我的前一篇文章中有对其的简要介绍。
Soft-attention，[0,1]间连续分布问题，每个区域被关注的程度高低，用0~1的score表示.
软注意力的关键点在于，这种注意力更关注区域或者通道，而且软注意力是确定性的注意力，学习完成后直接可以通过网络生
成，最关键的地方是软注意力是可微的，这是一个非常重要的地方。可以微分的注意力就可以通过神经网络算出梯度并且前向
传播和后向反馈来学习得到注意力的权重。
然而，这种类型的软注意力在计算上是非常浪费的。输入的黑色部分对结果没有任何影响，但仍然需要处理。同时它也是过度
参数化的：实现注意力的sigmoid 激活函数是彼此相互独立的。它可以一次选择多个目标，但实际操作中，我们经常希望具有
选择性，并且只能关注场景中的一个单一元素。由DRAW和空间变换网络（Spatial Transformer Networks）引入的以下两种
机制很好地别解决了这个问题。它们也可以调整输入的大小，从而进一步提高性能。
就注意力关注的域来分：
空间域(spatial domain)
通道域(channel domain)
层域(layer domain)
混合域(mixed domain)
时间域(time domain)：还有另一种比较特殊的强注意力实现的注意力域，时间域(time domain)，但是因为强注意力是使用
reinforcement learning来实现的，训练起来有所不同
一个概念：Self-attention自注意力，就是 feature map 间的自主学习，分配权重（可以是 spatial，可以是 temporal，也可以
是 channel间）
软注意力
1. Spatial Transformer Networks(空间域注意力)—2015 nips
Spatial Transformer Networks（STN）模型[4]是15年NIPS上的文章，这篇文章通过注意力机制，将原始图片中的空间信息变
换到另一个空间中并保留了关键信息。
剩余14页未读，继续阅读
资源评论
边璇ฅฅ2023-03-06这个资源对我启发很大，受益匪浅，学到了很多，谢谢分享~
sos19992023-03-09非常有用的资源，有一定的参考价值，受益匪浅，值得下载。
weixin_38560768
- 粉丝: 5
- 资源: 895
最新资源
- 基于OPENCV和卷积神经网络的嗜睡检测系统，用于检测驾驶员是否嗜睡
- 给出了一个关于百度百科的爬虫小案例，根据设定的搜索条目，爬取对应内容
- 这是关于我的萌宠微信小程序的开发笔记
- Sublime Text 4 无法安装和激活 Virtualenv的详细攻略
- 基于Tensorflow的手势识别代码+数据集+文档说明（期末大作业）
- epoll接口使用 - 非阻塞式网络io(仅读事件)
- 我的萌宠微信小程序源码
- DLT664国网红外数据文件校验软件2024.zip
- 基于matlab+python使用深度强化学习解决视觉跟踪和视觉导航问题+源码+项目文档（毕业设计&课程设计&项目开发）
- led-tcp-maopencv
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
