因此，在接下来近十年的时间里，卷积神经网络的相关研究趋于停滞，原
因有两个：一是研究人员意识到多层神经网络在进行 BP 训练时的计算量极其
之大，当时的硬件计算能力完全不可能实现；二是包括 SVM 在内的浅层机器学
习算法也渐渐开始暂露头脚。直到 2006 年，Hinton 终于一鸣惊人，在《科
学》上发表文章，使得 CNN 再度觉醒，并取得长足发展。随后，更多的科研工
作者对该网络进行了改进。其中，值得注意的是 Krizhevsky 等人提出的一个经
典的 CNN 架构，相对于图像分类任务之前的方法，在性能方面表现出了显着的
改善 。他们方法的整体架构，即 AlexNet （也叫 ImageNet），与 LeNet5
相似，但具有更深的结构。它包括 8 个学习层（5 个卷积与池化层和 3 个全连
接层），前边的几层划分到 2 个 GPU 上，（和 ImageNet 是同一个）并且它在
卷积层使用 ReLU 作为非线性激活函数，在全连接层使用 Dropout 减少过拟
合。该深度网络在 ImageNet 大赛上夺冠，进一步掀起了 CNN 学习热潮。
一般地，CNN 包括两种基本的计算，其一为特征提取，每个神经元的输入
与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取
后，它与其它特征间的位置关系也随之确定下来；其二是特征映射，网络的每
个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元
的权值相等。特征映射结构采用影响函数核小的 sigmoid 函数作为卷积网络的
激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元
共享权值，因而减少了网络自由参数的个数。这两种操作形成了 CNN 的卷积
层。此外，卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二
