没有合适的资源?快使用搜索试试~ 我知道了~
1. 卷积与互相关 2. 深度学习中的卷积(单通道版本,多通道版本) 5. 卷积算术 6. 转置卷积(去卷积、棋盘效应) 7. 扩张卷积 8. 可分卷积(空间可
资源详情
资源评论
资源推荐
卷
积
有
多
少
种
?
一
文
读
懂
深
度
学
习中
的
各
种
卷
积
Synced
选自towardsdatascience
作
者
:
Kunlun Bai
机
器
之
心
编
译
参
与
:
熊
猫
我们都知道卷积的重要性,但你知道深度学习领域的卷积究竟是什么,又有多少种类吗?研究学者 Kunlun Bai
近日发布一篇介绍深度学习的卷积文章,用浅显易懂的方式介绍了深度学习领域的各种卷积及其优势。鉴于原文
过长,机器之心选择其中部分内容进行介绍,2、4、5、9、11、12 节请参阅原文。
如果你听说过深度学习中不同种类的卷积(比如 2D / 3D / 1x1 /转置/扩张(Atrous)/空间可分/深度可分/平展/分
组/混洗分组卷积),并且搞不清楚它们究竟是什么意思,那么这篇文章就是为你写的,能帮你理解它们实际的工作方
式。
在这篇文章中,我会归纳总结深度学习中常用的几种卷积,并会试图用一种每个人都能理解的方式解释它们。除了本
文之外,还有一些关于这一主题的好文章,请参看原文。
希望本文能帮助你构建起对卷积的直观认知,并成为你研究或学习的有用参考。
本文目录
1. 卷积与互相关
2. 深度学习中的卷积(单通道版本,多通道版本)
3. 3D 卷积
4. 1×1 卷积
5. 卷积算术
6. 转置卷积(去卷积、棋盘效应)
7. 扩张卷积
8. 可分卷积(空间可分卷积,深度可分卷积)
9. 平展卷积
10. 分组卷积
11. 混洗分组卷积
12. 逐点分组卷积
一
、
卷
积
与互
相
关
在信号处理、图像处理和其它工程/科学领域,卷积都是一种使用广泛的技术。在深度学习领域,卷积神经网络
(CNN)这种模型架构就得名于这种技术。但是,深度学习领域的卷积本质上是信号/图像处理领域内的互相关
(cross-correlation)。这两种操作之间存在细微的差别。
无需太过深入细节,我们就能看到这个差别。在信号/图像处理领域,卷积的定义是:
其定义是两个函数中一个函数经过反转和位移后再相乘得到的积的积分。下面的可视化展示了这一思想:
信
号
处
理
中
的
卷
积
。
过
滤
器
g
经
过
反
转
,
然
后
再
沿
水
平
轴
滑
动
。
在
每
一个
位
置
,
我
们
都
计
算
f
和反
转
后
的
g
之
间
相
交
区
域
的
面
积
。
这
个
相
交
区
域
的
面
积
就
是
特
定
位
置
出
的
卷
积
值
。
这里,函数 g 是过滤器。它被反转后再沿水平轴滑动。在每一个位置,我们都计算 f 和反转后的 g 之间相交区域的
面积。这个相交区域的面积就是特定位置出的卷积值。
另一方面,互相关是两个函数之间的滑动点积或滑动内积。互相关中的过滤器不经过反转,而是直接滑过函数 f。f
与 g 之间的交叉区域即是互相关。下图展示了卷积与互相关之间的差异。
信
号
处
理
中
卷
积
与互
相
关
之
间
的
差
异
在深度学习中,卷积中的过滤器不经过反转。严格来说,这是互相关。我们本质上是执行逐元素乘法和加法。但在深
度学习中,直接将其称之为卷积更加方便。这没什么问题,因为过滤器的权重是在训练阶段学习到的。如果上面例子
中的反转函数 g 是正确的函数,那么经过训练后,学习得到的过滤器看起来就会像是反转后的函数 g。因此,在训练
之前,没必要像在真正的卷积中那样首先反转过滤器。
二
、
3D
卷
积
在上一节的解释中,我们看到我们实际上是对一个 3D 体积执行卷积。但通常而言,我们仍在深度学习中称之为 2D
卷积。这是在 3D 体积数据上的 2D 卷积。过滤器深度与输入层深度一样。这个 3D 过滤器仅沿两个方向移动(图像
的高和宽)。这种操作的输出是一张 2D 图像(仅有一个通道)。
很自然,3D 卷积确实存在。这是 2D 卷积的泛化。下面就是 3D 卷积,其过滤器深度小于输入层深度(核大小<通道
大小)。因此,3D 过滤器可以在所有三个方向(图像的高度、宽度、通道)上移动。在每个位置,逐元素的乘法和加
法都会提供一个数值。因为过滤器是滑过一个 3D 空间,所以输出数值也按 3D 空间排布。也就是说输出是一个 3D
数据。
剩余17页未读,继续阅读
赵伊辰
- 粉丝: 61
- 资源: 314
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0