chap-卷积神经网络.pdf

所需积分/C币:9 2019-05-09 14:15:23 973KB PDF
收藏 收藏
举报

卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),是深度学习(deep learning)的代表算法之一 [1-2] 。由于卷积神经网络能够进行平移不变分类(shift-invariant classification),因此也被称为“平移不变人工神经网络(Shift-Invariant Artificial Neural Networks, SIANN)”
110 2019年4月4日 第5章卷积神经网络 性:局部连接,权重共享以及汇聚。这些特性使得卷积神经网络具有一定程度上 的平移、缩放和旋转不变性。和前馈神经网络相比,卷积神经网络的参数更少。 卷积神经网络主要使用在图像和视频分析的各种任务上,比如图像分类、人 脸识别、物体识别、图像分割等,其准确率一般也远远超出了其它的神经网络 模型。近年来卷积神经网络也广泛地应用到自然语言处理、推荐系统等领域。 5.1卷积 卷积( Convolution),也叫摺积,是分析数学中一种重要的运算。在信号 这里我们只考虑离散序列的处理或图像处理中,经常使用一维或二维卷积。 情况。 维卷积一维卷积经常用在信号处理中,用于计算信号的延迟累积。假设一个 信号发生器每个时刻t产生一个信号xt,其信息的衰减率为k,即在k-1个时 间步长后,信息为原来的k倍。假设1=1,2=1/2,3=1/4,那么在时刻 t收到的信号yt为当前时刻产生的信息和以前时刻延迟信息的叠加, 9t=1×xt+1/2 +1/4×x (5.1 01×t+w2×xt-1+w3×xt-2 (5.2) 0k·Tt-k+1 我们把v1,w2,……称为滤波器( Filter)或卷积核( Convolution Kernel)。 假设滤波器长度为m,它和一个信号序列x1,x2,…的卷积为 yt k·t-k+1, 信号序列x和滤波器w的卷积定义为 ∞x, (5.5 其中⑧表示卷积运算。 一般情况下滤波器的长度m远小于信号序列长度m。当滤波器fk=1/m,1≤ k<m时,卷积相当于信号序列的移动平均。图5,1给出了一维卷积示例。滤波 器为[-1,0,1],连接边上的数字为滤波器中的权重。 邱锡鹏:《神经网络与深度学习》 https://nndl.github.io 5.1卷积 2019年4月4日 111 12110 图51一维卷积示例 二维卷积卷积也经常用在图像处理中。因为图像为一个两维结构,所以需要将 维卷积进行扩展。给定一个图像X∈RMxN,和滤波器W∈Rm×n,一般 m<<M,m<<N,其卷积为 ∑∑ Wuv.a (5.6 图52给出了二维卷积示例。 111|11 01 100 0 211-10⑧000 224 0-1121 00-1 100 12111 图52二维卷积示例 常用的均值滤波( mean filter)就是当前位置的像素值设为滤波器窗口中 所有像素的平均值,也就是f=m 在图像处理中,卷积经常作为特征提取的有效方法。一幅图像在经过卷积 操作后得到结果称为特征映射( Feature Map)。图5.3给出在图像处理中几种 常用的滤波器,以及其对应的特征映射。图中最上面的滤波器是常用的高斯滤 波器,可以用来对图像进行平滑去噪;中间和最下面的过滤器可以用来提取边 缘特征 邱锡鹏:《神经网络与深度学习》 https://nndl.github.io 112 2019年4月4日 第5章卷积神经网络 1 16‖8 84|8 010 ∞11-41 01o 原始图像 101 110 滤波器 输出特征映射 图5.3图像处理中几种常用的滤波器示例 5.11互相关 在机器学习和图像处理领域,卷积的主要功能是在一个图像(或某种特征) 上滑动一个卷积核(即滤波器),通过卷积操作得到一组新的特征。在计算卷积 的过程中,需要进行卷积核翻转。在具体实现上,一般会以互相关操作来代替 翻转就是从两个维度(从上卷积,从而会减少一些不必要的操作或开销。互相关( Cross-Correlation)是一 到下、从左到右)颠倒次序,个衡量两个序列相关性的函数,通常是用滑动窗口的点积计算来实现。给定 即旋转180度。 个图像X∈RMxN和卷积核W∈Rm×n,它们的互相关为 nn =∑∑0,m+1-15+-1 (5.7) L=10= 和公式(5.6)对比可知,互相关和卷积的区别在于卷积核仅仅是否进行翻转。因 此互相关也可以称为不翻转卷积 互相关和卷积的区别也可以 理解为图像是否进行翻转。 在神经网络中使用卷积是为了进行特征抽取,卷积核是否进行翻转和其特 征抽取的能力无关。特别是当卷积核是可学习的参数时,卷积和互相关是等价 邱锡鹏:《神经网络与深度学习》 https://nndl.github.io 5.1卷积 2019年4月4日 113 的。因此,为了实现上(或描述上)的方便起见,我们用互相关来代替卷积。事 实上,很多深度学习工具中卷积操作其实都是互相关操作 在本书之后描述中,除非特 公式(57)可以表述为 别声明,卷积一般指“互相 关”。 Y=W⑧X 58) 其中Y∈RM-m+1,N-n+1为输出矩阵。 5.1.2卷积的变种 在卷积的标准定义基础上,还可以引入滤波器的滑动步长和零填充来增加 卷积的多样性,可以更灵活地进行特征抽取 滤波器的步长( Stride)是指滤波器在滑动时的时间间隔。图5.4a给出了步 长为2的卷积示例。 步长也可以小于1,即微步卷 零填充( Zero padding)是在输入向量两端进行补零。图5.4b给出了输入的积参见第5.5.1节 两端各补一个零后的卷积示例 0 112|-1 31 a)步长s=2 0112-11-310 (b)零填充p=1 图5.4卷积的步长和零填充 通常可以通过选择合适的 卷积大小以及步长来使得 假设卷积层的输入神经元个数为n,卷积大小为m,步长( stride)为s,输(m-m+2p)/+1为整数 入神经元两端各填补p个零( zero padding),那么该卷积层的神经元数量为 (7-m+2p)/8+1 邱锡鹏:《神经网络与深度学习》 https://nndl.github.io 114 2019年4月4日 第5章卷积神经网络 般常用的卷积有以下三类 在早期的文献中,卷积一般 默认为窄卷积;而目前的文 献中,卷积一般默认为等宽 ·窄卷积( Narrow Convolution):步长s=1,两端不补零p=0,卷积后 卷积。 输出长度为n-m+1。 ·宽卷积( Wide convolution):步长s=1,两端补零p=m-1,卷积后 输出长度n+m-1。 ·等宽卷积( Equal- Width convolution):步长s=1,两端补零p=(m 1)/2,卷积后输出长度m。图5.4b就是一个等长卷积示例。 更多的卷积变种参见 第5.5节。 5.13卷积的数学性质 卷积有很多很好的数学性质。在本节中,我们介绍一些二维卷积的数学性 质,但是这些数学性质同样可以适用到一维卷积的情况。 5.13.1交换性 如果不限制两个卷积信号的长度,卷积是具有交换性的,即ⅹ⑧y=y⑧x。 当输入信息和卷积核有固定长度时,它们的宽卷积依然具有交换性。 对于两维图像X∈RMxN和卷积核W∈Rm×",对图像X的两个维度进 行零填充,两端各补m-1和m-1个零,得到全填充( Full padding)的图像 X∈R(M+2m-2)×(N+2m-2)。图像X和卷积核W的宽卷积( Wide convolution) 定义为 W8X全W⑧X, (5.9 其中⑧为宽卷积操作 宽卷积具有交换性,即 参见习题5-1 W⑧X=X⑧W 5.10 5.132导数 假设Y=W⑧X,其中X∈RMxN,W∈Rm×m,Y∈R(M-m+1)×(N-m+1), 函数f(Y)∈R为一个标量函数,则 af(r) M-m+1N-m+1 ∑∑ dyi; af(Y) wuv M-m+1N-n2+1 ∑∑ 0f(Y) +u-1,j+-1 5.12) U+u-1,j+v-1 M-m+1N-m+1 af(r) (5.13) 邱锡鹏:《神经网络与深度学习》 https://nndl.github.io 52卷积神经网络 2019年4月4日 115 从公式(53)可以看出,f(Y)关于W的偏导数为X和。y2的卷积 af(r af(r) ow 同理得到, af(r M二m+1Nxn+1y;f(Y) d st st af(Y +1,t-j+1 (5.16) 其中当(s-i+1)<1,或(s-+1)>m,或(-j+1)<1,或(t-j+1)>m 时,-2+1.-+1=0。即相当于对W进行了p=(M-m,N-m)的零填充。 从公式(516)可以看出,f(Y)关于X的偏导数为W和0y2的宽卷积。公 式(5.16)中的卷积是真正的卷积而不是互相关,为了一致性,我们用互相关的 “卷积”,即 0f(Y) rot180 af(r OX aY )ow (5.17) rot180(W)o (5.18) 其中rot180()表示旋转180度 52卷积神经网络 卷积神经网络一般由卷积层、汇聚层和全连接层构成。 52.1用卷积来代替全连接 在全连接前馈神经网络中,如果第l层有n个神经元,第l-1层有m(-1 个神经元,连接边有n()×m(-1)个,也就是权重矩阵有7()×m(-1)个参数。 当m和n都很大时,权重矩阵的参数非常多,训练的效率会非常低。 如果采用卷积来代替全连接,第l层的净输入z()为第l-1层活性值a(-1) 和滤波器w()∈Rm的卷积,即 (5.19) 其中滤波器w(为可学习的权重向量,b()∈Rn为可学习的偏置。 根据卷积的定义,卷积层有两个很重要的性质: 邱锡鹏:《神经网络与深度学习》 https://nndl.github.io 116 2019年4月4日 第5章卷积神经网络 局部连接在卷积层(假设是第l层)中的每一个神经元都只和下一层(第l-1 层)中某个局部窗口内的神经元相连,构成一个局部连接网络。如图5.5b所示, 卷积层和下一层之间的连接数大大减少,有原来的n×n-1个连接变为n×m 个连接,m为滤波器大小。 权重共享从公式(5.19)可以看出,作为参数的滤波器w()对于第l层的所有的 神经元都是相同的。如图5.5b中,所有的同颜色连接上的权重是相同的 (a)全连接层 (b)卷积层 图55全连接层和卷积层对比 由于局部连接和权重共享,卷积层的参数只有一个m维的权重w()和1维 的偏置b①),共m+1个参数。参数个数和神经元的数量无关。此外,第L层的 神经元个数不是任意选择的,而是满足n()=n(-1)-m+1。 522卷积层 卷积层的作用是提取一个局部区域的特征,不同的卷积核相当于不同的特 征提取器。上一节中描述的卷积层的神经元和全连接网络一样都是一维结构。 既然卷积网络主要应用在图像处理上,而图像为两维结构,因此为了更充分地 利用图像的局部信息,通常将神经元组织为三维结构的神经层,其大小为高度 M×宽度N×深度D,有D个M×N大小的特征映射构成。 特征映射( Feature Map)为一幅图像(或其它特征映射)在经过卷积提取 到的特征,每个特征映射可以作为一类抽取的图像特征。为了提高卷积网络的 邱锡鹏:《神经网络与深度学习》 https://nndl.github.io 52卷积神经网络 2019年4月4日 117 表示能力,可以在每一层使用多个不同的特征映射,以更好地表示图像的特征 在输入层,特征映射就是图像本身。如果是灰度图像,就是有一个特征映 射,深度D=1;如果是彩色图像,分别有RGB三个颜色通道的特征映射,输 入层深度D=3。 不失一般性,假设一个卷积层的结构如下: ●输入特征映射组:Ⅹ∈RMxN×D为三维张量( tensor),其中每个切片 (sice)矩阵X∈RMxN为一个输入特征映射,1≤d≤D; ●输出特征映射组:Y∈ IRXN X为三维张量,其中每个切片矩阵YP∈ RMxN为一个输出特征映射,1≤P≤P; 卷积核:W∈RmXm×D×P为四维张量,其中每个切片矩阵WP,d∈Rm×n 为一个两维卷积核,1<d<D,1<p<P。 图5.6给出卷积层的三维结构表示。 特征映射Xa 特征映射YP 卷积核WP 特征映射组Ⅹ 高度M 宽度 深度D 图5.6卷积层的三维结构表示 为了计算输出特征映射YP,用卷积核WP,,WP2,…,WPD分别对输入特 征映射ⅹ,X2,…,X进行卷积,然后将卷积结果相加,并加上一个标量偏置 b得到卷积层的净输入Z,再经过非线性激活函数后得到输出特征映射YP Z=W8x+b=∑ Wp, 8 X+b2, (5.20) d=1 (5.21) 其中WP∈ IRmxnx为三维卷积核,f()为非线性激活函数,一般用RLU函 数。整个计算过程如图5.7所示。如果希望卷积层输出P个特征映射,可以将上 述计算机过程重复P次,得到P个输出特征映射Y,Y2,…,YP。 在输入为X∈ RMXNX,输出为Y∈RMxN×P的卷积层中,每一个输 入特征映射都需要D个滤波器以及一个偏置。假设每个滤波器的大小为m×m, 那么共需要P×D×(m×m)+P个参数 邱锡鹏:《神经网络与深度学习》 https://nndl.github.io

...展开详情
试读 27P chap-卷积神经网络.pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
    抢沙发
    一个资源只可评论一次,评论内容不能少于5个字
    img
    白杨树~

    关注 私信 TA的资源

    上传资源赚积分,得勋章
    最新推荐
    chap-卷积神经网络.pdf 9积分/C币 立即下载
    1/27
    chap-卷积神经网络.pdf第1页
    chap-卷积神经网络.pdf第2页
    chap-卷积神经网络.pdf第3页
    chap-卷积神经网络.pdf第4页
    chap-卷积神经网络.pdf第5页
    chap-卷积神经网络.pdf第6页
    chap-卷积神经网络.pdf第7页
    chap-卷积神经网络.pdf第8页
    chap-卷积神经网络.pdf第9页

    试读已结束,剩余18页未读...

    9积分/C币 立即下载 >