SearchingforMobileNetV3_mobinetSE结构资源-CSDN文库

需积分: 10 68 浏览量 2022-11-01 16:20:41 上传评论收藏 2.27MB PDF 举报

资源推荐

资源详情

资源评论

探索 MobileNetV3

摘要

我们提出了基于互补搜索技术下一代 MobileNet，并设计了新的网络结构。

通过结合硬件网络架构搜索(NAS)和 NetAdapt 算法，MobileNetV3 被调优为移动

电话 CPU，然后通过新的架构进行改进。本文开始探索自动搜索算法和网络设计

如何协同工作，以利用互补的方法改善整体技术水平。通过这个过程，我们为发

布了两个新的 MobileNet 模型:MobileNetV3-Large 和 MobileNetV3-Small，它们针

对高和低质量资源的使用。然后将这些模型应用到目标检测和语义分割任务中。

针对语义分割(或任何密集像素预测)的任务，我们提出了一种新的高效分割解

码器 Lite Reduced Atrous Spatial Pyramid Pooling (LR-ASPP)。我们实现了移动分类、

检测和分割的最新成果。与 MobileNetV2 相比，MobileNetV3-Large 在 ImageNet

分类上的准确率提高了 3.2%，同时减少了 20%的延迟。MobileNetV3-Small 是与

具有相同延迟的 MobileNetV2 模型相比，精度提高了 6.6%。MobileNetV3-Large

检测速度比 MobileNetV2 COCO 检测的准确率快 25%以上。MobileNetV3-Large

LRASPP 比 MobileNetV2 R-ASPP 快 34%，在城市景观分割的精度相似。

图 1.Pixel 1 延迟和 top-1 ImageNet 精度之间的权衡。所有型号均使用输入分

辨率 224。V3 大和 V3 小使用乘数 0.75,1 和 1.25 来表示最优边界。使用 TFLite[1]

在同一设备的单个大核上测量所有延迟。MobileNetV3-Small 和 Large 是我们提

出的下一代移动模型。

第 6 节为分类、检测和分割提供了大量的实验，以证明有效性并理解不同部分的

贡献。第 7 节是结论和今后的工作。

2.相关工作

设计深度神经网络体系结构，在准确性和效率之间进行最优平衡是近年来一

个热门的研究领域。新颖的手工结构和算法神经结构搜索都在这一领域的发展中

发挥了重要作用。SqueezeNet[22]广泛使用 1x1 卷积和减少和扩展模块，主要专

注于减少参数的数量。最近的工作将重点从减少参数转移到减少操作数量

(MAdds)和实际测量的延迟上来。MobileNetV1[19]采用深度可分离卷积，大大提

高了计算效率。 MobileNetV2[39]在此基础上进行了扩展，引入了具有反向残差

和线性 bottleneck 的资源高效块。ShuffleNet[49]利用组卷积和通道混洗操作来进

一步减少 MAdds。CondenseNet[21]在训练阶段学习组卷积，以保持层之间有用

的密集连接，以便特征再利用。ShiftNet[46]提出了交替使用点卷积的转换运算，

以取代昂贵的空间卷积。

为了实现架构设计过程的自动化，首先引入强化学习(RL)来搜索具有竞争性

精度的高效架构[53,54,3,27,35]。一个完全的结构搜索空间可以成倍增长，而且难

以处理。一个完全可配置的搜索空间可以成倍增长，而且难以处理。最近，[43]

探索了一个块级层次搜索空间，允许在网络的不同分辨率块上使用不同的层结构。

为降低搜索的计算成本，[28,5,45]采用可微架构搜索框架，并基于梯度进行优化。

[48, 15, 12]着眼于使现有网络适应受约束的移动平台，提出了更有效的自动化网

络简化算法。

量化[23,25,47,41,51,52,37]是通过降低精度算法来提高网络效率的另一项重

要的补充结果。最后，知识蒸馏[4,17]提供了一种额外的补充方法，在大型“教师”

网络的引导下，生成小型精确的“学生”网络。

3.高效的移动构建块

移动模型建立在越来越高效的构建模块上。MobileNetV1[19]引入深度可分

离卷积作为传统卷积层的有效替代。深度可分卷积将空间滤波与特征生成机制分

离，有效地分解了传统卷积。深度可分离卷积由两个独立的层定义:用于空间滤

波的轻量级深度卷积和用于特征生成的较大的 1x1 点卷积。

剩余17页未读，继续阅读

内容反馈

长沙有肥鱼

粉丝: 1w+
资源: 15

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip