InceptionV1理解_inceptionV1为什么能提升性能资源-CSDN文库

126 浏览量 2021-01-06 23:23:43 上传评论 1 收藏 148KB PDF 举报

资源推荐

资源详情

资源评论

Inception V1 理解理解

在论文《Going Deeper with Convolutions》提出了GoogLeNet网络，并在 ILSVRC 2014(ImageNet Large Scale Visual

Recognition Competition) 上取得了第一名，GoogLeNet 对网络中的传统卷积层进行了修改，提出了被称为 Inception 的结

构，用于增加网络深度和宽度，提高深度神经网络性能。

我们知道，在卷积神经网络（CNN）中，传统情况下，最直接提升准确度的方法，就是增加网络的尺寸，包括宽度和深度。

深度也就是网络中的层数，宽度指每层中所用到的神经元的个数。但是这种简单直接的解决方式存在的两个重大缺点：

(1) 网络尺寸的增加也意味着参数的增加，也就使得网络更加容易过拟合。

(2) 计算资源的增加。

所以作者提出，根本的解决方法就是将全连接的结构转化成稀疏连接稀疏连接的结构。

比如CNN，就是一种空间维度的稀疏连接，使用滤波核对输入图像的的某一部分进行卷积，共享滤波核的参数，这样神经网

络的参数就主要是在滤波核上，相比于传统的全连接层，大大减少了参数的数量。

本论文的点睛之笔，是在作者继续提出了另一种方式，也就是在特征维度进行稀疏连接特征维度进行稀疏连接，在多个不同的尺寸上进行卷积再聚

合，把相关性强的特征相关性强的特征聚集到一起，每一种尺寸的卷积只输出所有特征中的一部分，这也是种稀疏连接。

对输入特征，在不同尺寸是进行卷积，比如 3*3，5*5，1*1，还有最大池化上，进行了卷积，对于4个分支，分别用不同尺寸

的filter进行卷积或池化，最后再在特征维度上拼接到一起。

那么，inception结构这样做的好处是什么呢？

1、在直观感觉上，在多个尺度上同时进行卷积，能提取到不同尺度的特征，特征更为丰富，也意味着最后分类判断时更加准

确。

2、赫布原理赫布原理(Hebbian Principle)。Hebbin原理是神经科学上的一个理论，用一句话概括就是fire togethter, wire together。赫

布认为“两个神经元或者神经元系统，如果总是同时兴奋，就会形成一种‘组合’，其中一个神经元的兴奋会促进另一个的兴

奋”。比如狗看到肉会流口水，反复刺激后，脑中识别肉的神经元会和掌管唾液分泌的神经元会相互促进，“缠绕”在一起，以后

再看到肉就会更快流出口水。用在inception结构中就是要把相关性强的特征汇聚到一起。因为训练收敛的最终目的就是要提取

出独立的特征，所以使用1×1，3×3，5×5多个尺度的卷积核，可以预先把相关性强的特征汇聚，起到加速收敛的作用。

3、把稀疏矩阵分解成多个子密集矩阵计算把稀疏矩阵分解成多个子密集矩阵计算，来加快收敛速度。传统的卷积层的输入数据只和一种尺度（比如3×3）的卷积核

进行卷积，输出固定维度（比如256个特征）的数据，所有256个输出特征基本上是均匀分布在3×3尺度范围上，这可以理解

成输出了一个稀疏分布的特征集；而inception模块在多个尺度上提取特征（比如1×1，3×3，5×5），输出的256个特征就不再

是均匀分布，而是相关性强的特征聚集在一起（比如1×1的的96个特征聚集在一起，3×3的96个特征聚集在一起，5×5的64个

特征聚集在一起），这可以理解成多个密集分布的子特征集。这样的特征集中因为相关性较强的特征聚集在了一起，不相关的

非关键特征就被弱化，同样是输出256个特征，inception方法输出的特征“冗余”的信息较少。用这样的“纯”的特征集层层传递最

后作为反向计算的输入，自然收敛的速度更快。

举例：下图左侧是个稀疏矩阵（很多元素都为0，不均匀分布在矩阵中），和一个2×2的矩阵进行卷积，需要对稀疏矩阵中的

每一个元素进行计算；如果像右图那样把稀疏矩阵分解成2个子密集矩阵，再和2×2矩阵进行卷积，稀疏矩阵中0较多的区域就

可以不用计算，计算量就大大降低。

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

内容反馈

weixin_38744694

粉丝: 17
资源: 948

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip