络模型
3579
。类似于一般的神经网络,LeNet-5 有多层,利用 BP 算法
来训练参数。它可以获得原始图像的有效表示,使得直接从原始像素
(几乎不经过预处理)中识别视觉模式成为可能。然而,由于当时大
型训练数据和计算能力的缺乏,使得 LeNet-5 在面对更复杂的问题
时,如大规模图像和视频分类,不能表现出良好的性能。
因此,在接下来近十年的时间里,卷积神经网络的相关研究趋于
停滞,原因有两个:一是研究人员意识到多层神经网络在进行 BP 训
练时的计算量极其之大,当时的硬件计算能力完全不可能实现;二是
包括 SVM 在内的浅层机器学习算法也渐渐开始暂露头脚。直到 2006
年,Hinton 终于一鸣惊人,在《科学》上发表文章,使得 CNN 再度
觉醒,并取得长足发展。随后,更多的科研工作者对该网络进行了改
进。其中,值得注意的是 Krizhevsky 等人提出的一个经典的 CNN 架
构,相对于图像分类任务之前的方法,在性能方面表现出了显著的改
善
2674
。他们方法的整体架构,即 AlexNet
[9]
(也叫 ImageNet),与
LeNet-5 相似,但具有更深的结构。它包括 8 个学习层(5 个卷积与
池化层和 3 个全连接层),前边的几层划分到 2 个 GPU 上,(和 ImageNet
是同一个)并且它在卷积层使用 ReLU 作为非线性激活函数,在全连
接层使用 Dropout 减少过拟合。该深度网络在 ImageNet 大赛上夺冠,
进一步掀起了 CNN 学习热潮。
一般地,CNN 包括两种基本的计算,其一为特征提取,每个神经
元的输入与前一层的局部接受域相连,并提取该局部的特征。一旦该
评论0
最新资源