GoogLeNet 神经网络结构.pdf
146 浏览量
2023-05-13
00:07:31
上传
评论
收藏 487KB PDF 举报
GoogLeNet是2014年 ILSVRC 冠军模型，top-5 错误率 6.7% ，GoogLeNet做了更大胆的网络上的尝试
而不像vgg继承了lenet以及alexnet的一些框架，该模型虽然有22层，但参数量只有AlexNet的1/12。
GoogLeNet论文指出获得高质量模型最保险的做法就是增加模型的深度（层数）或者是其宽度（层获得高质量模型最保险的做法就是增加模型的深度（层数）或者是其宽度（层
核或者神经元数）核或者神经元数），但是一般情况下更深或更宽的网络会出现以下问题：
1. 参数太多，容易过拟合，若训练数据集有限，这一问题更加突出；
2. 网络越大计算复杂度越大，难以应用；
3. 网络越深，梯度越往后穿越容易消失，难以优化模型;
总结起来就是更大的网络容易产生过拟合并且增加了计算量更大的网络容易产生过拟合并且增加了计算量。针对这两点，GoogLeNet认为根本方法
是将全连接甚至一般的卷积都转化为稀疏连接将全连接甚至一般的卷积都转化为稀疏连接。传统的网络使用了随机稀疏连接，而计算机软硬件对计算机软硬件对
非均匀稀疏数据的计算效率很低非均匀稀疏数据的计算效率很低。
基于保持神经网络结构的稀疏性，又能充分利用密集矩阵的高计算性能的出发点，GoogleNet提出了名
为Inception的模块化结构来实现此目的。依据是大量的文献表明可以将稀疏矩阵聚类为较为密集的子矩
阵来提高计算性能。
Inception是一种网中网（Network In Network）的结构，即原来的结点也是一个网络。Inception一直在不
断发展，目前已经V2、V3、V4了。Inception的结构如图所示，其中1*1卷积主要用来降维，用了
Inception之后整个网络结构的宽度和深度都可扩大，能够带来2-3倍的性能提升。
对Inception的结构做以下说明：
1. 采用不同大小的卷积核意味着不同大小的感受野，最后拼接意味着不同尺度特征的融合；
2. 之所以卷积核大小采用1、3和5，主要是为了方便对齐。设定卷积步长stride=1后，只要分别设定
pad=0、 1、2，那么卷积后便可以得到相同维度的特征，然后这些特征就可以直接拼接在一起
了；
资源评论
