没有合适的资源?快使用搜索试试~ 我知道了~
chap-卷积神经网络1
需积分: 0 0 下载量 111 浏览量
2022-08-04
00:12:58
上传
评论
收藏 437KB PDF 举报
温馨提示
![preview](https://dl-preview.csdnimg.cn/86317771/0001-ba7d2cac0dd602d6a902b33289820880_thumbnail.jpeg)
![preview-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/scale.ab9e0183.png)
试读
12页
第五章卷积神经网络当处理图像时,全连接的前馈神经网络会存在以下两个问题:1. 图像不能太大。比如,输入图像大小为100 × 100 × 3(即图像高度为100,
资源详情
资源评论
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/86317771/bg1.jpg)
第五章 卷积神经网络
当处理图像时,全连接的前馈神经网络会存在以下两个问题:
1. 图像不能太大。比如,输入图像大小为 100 × 100 × 3(即图像高度为 100,
宽度为 100,3 个颜色通道 RGB)。在全连接前馈神经网络中,第一个隐藏
层的每个神经元到输入层都有 100 ∗ 100 ∗ 3 = 30, 000 个相互独立的连接,
每个连接都对应一个权重参数。随着隐藏层神经元数量的增多,参数的规
模也会极具增加。这会导致整个神经网络的训练效率会非常低,也很容易
出现过拟合。
2. 难以处理图像不变性。自然图像中的物体都具有局部不变性特征,比如在
尺度缩放、平移、旋转等操作不影响人们对它的正确识别。而全连接的前
馈神经网络很难提取这些特征,一般需要进行数据增强来提高性能。
卷积神经网络(Convolutional Neural Networks,CNN)是受生物学上感
受野(Receptive Field)的机制而提出的一种前馈神经网络。
感受野主要是指听觉、视觉等神经系统中一些神经元的特性,即神经元只
接受其所支配的刺激区域内的信号。在视觉神经系统中,视觉皮层中的神经细
胞的输出依赖于视网膜上的光感受器。视网膜上的光感受器受刺激兴奋时,将
神经冲动信号传到视觉皮层,但不是所有视觉皮层中的神经元都会接受这些信
号。一个神经元的感受野是指视网膜上的特定区域,只有这个区域内的刺激才
能够激活该神经元。David Hubel 和 Torsten Wiesel 在 1959 年发现,在猫的初
David Hubel 和 Torsten
Wiesel 在此方面的贡献,
与 1981 年获得诺贝尔生
理学或医学奖。
级视觉皮层中存在两种细胞:简单细胞和复杂细胞,这两种细胞承担不同层次
的视觉感知功能 [Hubel and Wiesel, 1959, 1962]。简单细胞的感受野是狭长型
的,每个简单细胞只对感受野中特定角度(orientation)的光带敏感,而复杂细
胞对于感受野中以特定方向(direction)移动的某种角度(orientation)的光带
敏感。
![](https://csdnimg.cn/release/download_crawler_static/86317771/bg2.jpg)
84 第五章 卷积神经网络
受此启发,1980年,Kunihiko Fukushima(福岛邦彦)提出了一种带卷积和
子采样操作的多层神经网络:新知机(Neocognitron)[Fukushima, 1980]。但当
时还没有反向传播算法,新知机采用了无监督学习的方式来训练。Yann LeCun
在 1989 年将反向传播算法引入了卷积神经网络 [LeCun et al., 1989],并在手写
体数字识别上取得了很大的成功 [LeCun et al., 1998]。
目前的卷积神经网络一般采用交替使用卷积层和最大值池化层,然后在顶
端使用多层全连接的前馈神经网络。训练过程使用反向传播算法。卷积神经网
络有三个结构上的特性:局部连接,权重共享以及次采样。这些特性使得卷积神
经网络具有一定程度上的平移、缩放和扭曲不变性。和前馈神经网络相比,卷
积神经网络的参数更少。在图像识别任务上,基于卷积神经网络模型的准确率
也远远超出了一般的神经网络模型。
5.1 卷积
卷积,也叫摺积,是分析数学中一种重要的运算。我们这里只考虑离散序
列的情况。
5.1.1 一维场合
一维卷积经常用在信号处理中。给定一个输入信号序列 x
t
, t = 1, · · · , n,和
滤波器 f
t
, t = 1 , · · · , m,一般情况下滤波器的长度 m 远小于信号序列长度 n。
卷积的输出为:
y
t
=
m
∑
k=1
f
k
· x
t−k+1
. (5.1)
当滤波器 f
t
= 1/n 时,卷积相当于信号序列的移动平均。
卷积的结果按输出长度不同可以分为三类:
• 窄卷积:输出长度 n − m + 1,不补零。
• 宽卷积:输出长度n+m−1,对于不在[1, n]范围之外的x
t
用零补齐(zero-
padding)。(Padding=m-1)
• 等长卷积:输出长度 n,对于不在 [1, n] 范围之外的 x
t
用零补齐(zero-
padding)。(Padding=(m-1)/2)
邱锡鹏:《神经网络与深度学习》 https://nndl.github.io/84
![](https://csdnimg.cn/release/download_crawler_static/86317771/bg3.jpg)
5.2 卷积层:用卷积来代替全连接 85
在这里除了特别声明,我们一般说的卷积默认为窄卷积。
5.1.2 两维场合
两维卷积经常用在图像处理中。给定一个图像 x
ij
, 1 ≤ i ≤ M, 1 ≤ j ≤ N,
和滤波器 f
ij
, 1 ≤ i ≤ m, 1 ≤ j ≤ n,一般 m << M, n << N。
卷积的输出为:
y
ij
=
m
∑
u=1
n
∑
v =1
f
uv
· x
i−u+1,j−v+1
. (5.2)
在图像处理中,常用的均值滤波(mean filter)就是当前位置的像素值设为
滤波器窗口中所有像素的平均值,也就是 f
uv
=
1
mn
。
5.2 卷积层:用卷积来代替全连接
(a)
全连接层
(b) 卷积层
图 5.1: 全连接层和卷积层。卷积层中同颜色的边上的权重相同。
邱锡鹏:《神经网络与深度学习》 https://nndl.github.io/85
剩余11页未读,继续阅读
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![avatar](https://profile-avatar.csdnimg.cn/02a6fb2834cc4ccd9f848d10202d6230_weixin_35760923.jpg!1)
文润观书
- 粉丝: 26
- 资源: 317
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![voice](https://csdnimg.cn/release/downloadcmsfe/public/img/voice.245cc511.png)
![center-task](https://csdnimg.cn/release/downloadcmsfe/public/img/center-task.c2eda91a.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![dialog-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/green-success.6a4acb44.png)
评论0