没有合适的资源？快使用搜索试试~ 我知道了~

文库首页安全技术网络安全SENet中文翻译1

SENet中文翻译1

网络

毕业设计

人工智能

神经网络

需积分: 0 0 下载量 66 浏览量 2022-08-03 17:43:02 上传评论收藏 1.49MB PDF 举报

温馨提示

试读

27页

摘要卷积神经网络建立在卷积运算的基础上，通过融合局部感受野内的空间信息和通道信息来提取信息特征。为了提高网络的表示能力，许多现有的工作已经表明增强空间编码的好处

资源详情

资源评论

资源推荐

图像分类经典论文翻译汇总：[翻译汇总]

翻译 pdf 文件下载：[下载地址]

此版为中英文对照版，纯中文版请稳步：[SENet 中英文对照版]

Squeeze-and-Excitation Networks

挤压和激励网络

Jie Hu*

Momenta

[email protected]

Li Shen*

University of Oxford

[email protected]

Gang Sun*

Momenta

[email protected]

摘要

卷积神经网络建立在卷积运算的基础上，通过融合局部感受野内

的空间信息和通道信息来提取信息特征。为了提高网络的表示能力，

许多现有的工作已经表明增强空间编码的好处。在这项工作中，我们

专注于通道，并提出了一种新颖的架构单元，我们称之为“Squeeze-

and-Excitation”（ SE）模块，通过显式地建模通道之间的相互依赖关

系，自适应地重新校准通道式的特征响应。通过将这些块堆叠在一起，

我们证明了我们可以构建 SENet 架构，在具有挑战性的数据集中可以

进行泛化地非常好。关键的是，我们发现 SE 模块以微小的计算成本

为现有最先进的深层架构产生了显著的性能改进。SENets 是我们

ILSVRC 2017 分类提交的基础，它赢得了第一名，并将 top-5 错误率

显著减少到 2.251%，相对于 2016 年的获胜团队取得了约 25%的相对

改进。

1. 引言

卷积神经网络（CNNs）已被证明是解决各种视觉任务的有效模

型[19,23,29,41]。对于每个卷积层，沿着输入通道学习一组滤波器来

表达局部空间连接模式。换句话说，期望卷积滤波器通过融合空间信

息和信道信息进行信息组合，而受限于局部感受野。通过叠加一系列

非线性和下采样交织的卷积层，CNN 能够捕获具有全局感受野的分

层模式作为强大的图像描述。最近的工作已经证明，网络的性能可以

通过显式地嵌入学习机制来改善，这种学习机制有助于捕捉空间相关

性而不需要额外的监督。Inception 架构推广了一种这样的方法[14,39]，

这表明网络可以通过在其模块中嵌入多尺度处理来取得有竞争力的

准确度。最近的工作在寻找更好地模型空间依赖[1,27]，结合空间注

意力[17]。

与这些方法相反，通过引入新的架构单元，我们称之为“Squeeze-

and-Excitation” (SE)块，我们研究了架构设计的一个不同方向——通

道关系。我们的目标是通过显式地建模卷积特征通道之间的相互依赖

性来提高网络的表示能力。为了达到这个目的，我们提出了一种机制，

使网络能够执行特征重新校准，通过这种机制可以学习使用全局信息

来选择性地强调信息特征并抑制不太有用的特征。

SE 构建块的基本结构如图 1 所示。对于任何给定的变换

Ftr:X→UFtr:X→U, X∈RW′×H ′×C ′,U∈RW×H×CX∈RW′×H′×

C′,U∈RW×H×C，(例如卷积或一组卷积)，我们可以构造一个相应

的 SE 块来执行特征重新校准，如下所示。特征 UU 首先通过 squeeze

操作，该操作跨越空间维度 W×HW×H 聚合特征映射来产生通道描

述符。这个描述符嵌入了通道特征响应的全局分布，使来自网络全局

感受野的信息能够被其较低层利用。这之后是一个 excitation 操作，

其中通过基于通道依赖性的自门机制为每个通道学习特定采样的激

活，控制每个通道的激励。然后特征映射 UU 被重新加权以生成 SE

块的输出，然后可以将其直接输入到随后的层中。

图 1. Squeeze-and-Excitation 块

SE 网络可以通过简单地堆叠 SE 构建块的集合来生成。SE 块也

可以用作架构中任意深度的原始块的直接替换。然而，虽然构建块的

模板是通用的，正如我们 6.3 节中展示的那样，但它在不同深度的作

用适应于网络的需求。在前面的层中，它学习以类不可知的方式激发

信息特征，增强共享的较低层表示的质量。在后面的层中，SE 块越

来越专业化，并以高度类特定的方式响应不同的输入。因此，SE 块

进行特征重新校准的好处可以通过整个网络进行累积。

新 CNN 架构的开发是一项具有挑战性的工程任务，通常涉及许

多新的超参数和层配置的选择。相比之下，上面概述的 SE 块的设计

是简单的，并且可以直接与现有的最新架构一起使用，其卷积层可以

通过直接用对应的 SE 层来替换从而进行加强。另外，如第四节所示，

SE 块在计算上是轻量级的，并且在模型复杂性和计算负担方面仅稍

微增加。为了支持这些声明，我们开发了一些 SENets，即 SE-ResNet，

SE-Inception，SE-ResNeXt 和 SE-Inception-ResNet，并在 ImageNet 2012

数据集[30]上对 SENets 进行了广泛的评估。此外，为了证明 SE 块的

一般适用性，我们还呈现了 ImageNet 之外的结果，表明所提出的方

法不受限于特定的数据集或任务。

使用 SENets，我们赢得了 ILSVRC 2017 分类竞赛的第一名。我

们的表现最好的模型集合在测试集上达到了2.251%2.251%的top-5错

误率。与前一年的获奖者（2.991%2.991%的 top-5 错误率）相比，这

表示∼25%∼25%的相对改进。我们的模型和相关材料已经提供给研究

界。

2. 近期工作

深层架构。大量的工作已经表明，以易于学习深度特征的方式重

构卷积神经网络的架构可以大大提高性能。VGGNets[35]和 Inception

模型[39]证明了深度增加可以获得的好处，明显超过了 ILSVRC 2014

之前的方法。批标准化（BN）[14]通过插入单元来调节层输入稳定学

习过程，改善了通过深度网络的梯度传播，这使得可以用更深的深度

进行进一步的实验。He 等人[9,10]表明，通过重构架构来训练更深层

次的网络是有效的，通过使用基于恒等映射的跳跃连接来学习残差函

数，从而减少跨单元的信息流动。最近，网络层间连接的重新表示[5,12]

已被证明可以进一步改善深度网络的学习和表征属性。

另一种研究方法探索了调整网络模块化组件功能形式的方法。可

以用分组卷积来增加基数（一组变换的大小）[13,43]以学习更丰富的

表示。多分支卷积可以解释为这个概念的概括，使得卷积算子可以更

灵活的组合[14,38,39,40]。跨通道相关性通常被映射为新的特征组合，

或者独立的空间结构[6,18]，或者联合使用标准卷积滤波器[22]和

1×11×1 卷积，然而大部分工作的目标是集中在减少模型和计算复杂

度上面。这种方法反映了一个假设，即通道关系可以被表述为具有局

部感受野的实例不可知的函数的组合。相比之下，我们声称为网络提

供一种机制来显式建模通道之间的动态、非线性依赖关系，使用全局

信息可以减轻学习过程，并且显著增强网络的表示能力。

注意力和门机制。从广义上讲，可以将注意力视为一种工具，将

可用处理资源的分配偏向于输入信号的信息最丰富的组成部分。这种

机制的发展和理解一直是神经科学社区的一个长期研究领域

[15,16,28]，并且近年来作为一个强大补充，已经引起了深度神经网络

的极大兴趣[20,25]。注意力已经被证明可以改善一系列任务的性能，

从图像的定位和理解[3,17]到基于序列的模型[2,24]。它通常结合门功

能（例如 softmax 或 sigmoid）和序列技术来实现[11,37]。最近的研究

表明，它适用于像图像标题[4,44]和口头阅读[7]等任务，其中利用它

来有效地汇集多模态数据。在这些应用中，它通常用在表示较高级别

抽象的一个或多个层的顶部，以用于模态之间的适应。高速网络[36]

采用门机制来调节快捷连接，使得可以学习非常深的架构。王等人[42]

受到语义分割成功的启发，引入了一个使用沙漏模块[27]的强大的

trunk-and-mask 注意力机制。这个高容量的单元被插入到中间阶段之

间的深度残差网络中。相比之下，我们提出的 SE 块是一个轻量级的

剩余26页未读，继续阅读

内容反馈

韩金虎

粉丝: 28
资源: 285

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

SENet中文翻译1

评论0

最新资源

SENet中文翻译1

评论0

中文翻译1

SENet-PyTorch

SENet-CIFAR10

中文翻译区

SENet-master

SENet原版论文1

SENet中英文对照翻译1

SEnet注意力机制.py

ResNet18+SENet 实现cifar10分类 training准确率95.66%,test准确率90.77%

SENet-master.zip

thymeleaf3 中文翻译

DirectShowSDK中文翻译

TKINTER中文翻译

TortoiseSVN中文翻译包也有

SENet源码下载-2017ILSVRC分类大赛第一名

嵌入改进SENet的卷积神经网络连续血压预测.pdf

2.从LeNet到SENet1

Egyptian Senet:玩Senet古埃及游戏-开源

Senet-开源

R-CNN中文翻译1

GMW3059中文翻译版

opencms中文翻译

RFC3920中文翻译版

cp1306datasheet中文翻译

SENet的Caffe重新实现-C/C++开发

融合SENet和Trans...mer的应用层协议识别方法.caj

Keras实现经典的卷积神经网络

Lanado.Wi1seNet.gaAzqQC

最新资源