没有合适的资源?快使用搜索试试~ 我知道了~
1. 卷积神经网络 convolutional neural network:CNN :是指那些至少在网络的某一层中使用了卷积运算来代 2. 卷积神经网络专门处
资源详情
资源评论
资源推荐
2022/4/27 5_CNN
huaxiaozhuan.com/深度学习/chapters/5_CNN.html 1/35
卷积神经网络
1.
卷积神经网络 convolutional neural network:CNN :是指那些至少在网络的某一层中使用了卷积运算来代
替一般的矩阵乘法运算的神经网络。
2.
卷积神经网络专门处理具有类似网格结构的数据的神经网络。如:时间序列是一维网格,图像数据是二维网
格。
一、卷积运算
1.1
数学卷积
1.1.1
卷积定义
1.
示例:一个激光传感器输出
,
表示宇宙飞船在时刻
的位置的观测结果。假设传感器包含噪声,则
与飞船在时刻
的真实位置有偏离。
可以利用观测结果的均值来估计飞船的位置。假设越近的观测结果越相关,于是对最近的观测结果赋予更高
的权重。
令
为权重函数,其中
表示观测结果距离当前时刻的间隔,则得到时刻
飞船真实位置的估计:
这种运算就称作卷积 convolution ,用符号星号
表示。
理论上
可以为任意的实值函数,但是在这个示例中要求:
是个有效的概率密度函数,否则
就不是一个加权平均。
在自变量为负数时,取值为零。否则涉及到未来函数,因为激光传感器只能输出
时刻之前的观测
结果。
2.
通常当计算机处理数据时,连续的数据会被离散化,因此时间
只能取离散值。
假设
都是定义在整数时刻
上,则得到离散形式的卷积:
实际操作中,因为只能存储有限的数据,所以这些函数的值在有限的点之外均为零。因此无限级数的求和最
终是有限级数的求和。
3.
在卷积神经网络中,函数
称作输入,函数
称作核函数,输出有时被称作特征图
feature map 。
4.
可以对多个维度进行卷积运算。
如果二维图像
作为输入,则需要使用二维核函数
,卷积运算的输出为:
其中
表示二维图像
的像素点的坐标,
表示该坐标处的像素值。
通常
的尺寸较大,如
;而
的尺寸较小,如
因为卷积是可交换的,所以可以等价写作:
2022/4/27 5_CNN
huaxiaozhuan.com/深度学习/chapters/5_CNN.html 2/35
这称作翻转 flip 了核。
卷积的可交换性在数学证明中有用,但是在神经网络中很少使用。
1.1.2
数学卷积与矩阵乘法
1.
离散卷积可以视作输入矩阵与一个特殊的核矩阵的乘法。
对于一维的离散卷积,核矩阵的每一行必须和上一行移动一个元素后相等。
这种类型的矩阵叫做 Toeplitz 矩阵。
对于二维的离散卷积,核矩阵对应着一个双重块循环矩阵。
该矩阵大部分元素相等,且非常稀疏(几乎所有元素都为零)。
2.
卷积运算可以转换成矩阵乘法,所以不需要对神经网络库的实现作出大的修改。
1.1.2.1
一维卷积和矩阵乘法
1.
循环矩阵的定义:
可以利用循环矩阵求一维卷积。
2.
假设有两个长度分别为
和
的序列
和
,
则一维卷积为:
卷积的长度为
。
首先用
0
扩充序列
:
由于用
取卷积
,因此构造
的循环矩阵:
这里列优先,因此第一列是完全顺序的。
一维卷积为:
2022/4/27 5_CNN
huaxiaozhuan.com/深度学习/chapters/5_CNN.html 3/35
其中
。
1.1.2.2
二维卷积和矩阵乘法
1.
二维卷积:
假设
:
先将
扩充到
维: 。扩充之后的新矩阵为
。其中:
用
构造一个列向量
:将
的第一行转置之后将其成为
的前
个元素;接下来是第二行的转
置
....
第
行的转置。
将
中的每一行,都按照一维卷积中介绍的循环矩阵生成的方法构成一个
的循环矩阵。这些
矩阵记做:
。
2022/4/27 5_CNN
huaxiaozhuan.com/深度学习/chapters/5_CNN.html 4/35
用这些循环矩阵构造一个大的块循环矩阵:
计算:
。将
的结果分配到
的各行(与构造
相反的过程),即得到二维卷积。
1.2
神经网络卷积
1.2.1
卷积定义
1.
许多神经网络库会实现一个与卷积有关的函数,称作互相关函数 cross-correlation 。它类似于卷积:
有些机器学习库将它称作卷积。事实上在神经网络中,卷积指的就是这个函数(而不是数学意义上的卷积函
数)。
2.
神经网络的
2
维卷积的示例:
2022/4/27 5_CNN
huaxiaozhuan.com/深度学习/chapters/5_CNN.html 5/35
这里采用的是神经网络中卷积的定义:
。
其中,
和
由核函数决定。因为
,所以他们的取值范围是
。
3.
单个卷积核只能提取一种类型的特征。
如果希望卷积层能够提取多个特征,则可以并行使用多个卷积核,每个卷积核提取一种特征。我们称输出的
feature map
具有多个通道 channel
。
feature map
特征图是卷积层的输出的别名,它由多个通道组成,每个通道代表通过卷积提取的某种特征。
事实上,当输入为图片或者 feature map
时,池化层、非线性激活层、 Batch Normalization
等层的
输出也可以称作 feature map
。卷积神经网络中,非全连接层、输出层以外的几乎所有层的输出都可
以称作 feature map
。
4.
神经网络中,卷积运算的作用就类似于滤波,因此也称卷积核为 filter
滤波器。
滤波器可以从原始的像素特征中抽取某些特征,如:边缘、角度、形状等。
如: sobel
算子:
剩余34页未读,继续阅读
赶路的稻草人
- 粉丝: 24
- 资源: 330
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- keil2 + proteus + 8051.exe
- 1961ee27df03bd4595d28e24b00dde4e_744c805f7e4fb4d40fa3f695bfbab035_8(1).c
- mediapipe-0.9.0.1-cp37-cp37m-win-amd64.whl.zip
- windows注册表编辑工具
- mediapipe-0.9.0.1-cp37-cp37m-win-amd64.whl.zip
- 校园通行码预约管理系统20240522075502
- 车类型数据集6250张VOC+YOLO格式.zip
- The PyTorch implementation of STGCN.STGCN-main.zip
- 092300108.cpp
- 车类型数据集6000张VOC+YOLO格式.zip
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0