基于知识蒸馏的目标检测分析.docx
版权申诉
103 浏览量
2022-06-18
15:16:43
上传
评论
收藏 519KB DOCX 举报
引言
近年来，深度学习已成为人工智能领域许多研究课题的基础，包括计算机视觉
［
］
、强化学习
［
］
及自
然语言处理等。例如，在数百万幅图像识别的基础上训练一个 模型只需不到 的时间
［
］
，训练一个强大的语言理解的 模型则不超过
［
］
，大规模深度模型已取得了巨大成功。
目标检测
［
］
是计算机视觉领域的一个重要分支，其利用机器对现有物体进行精确识别，主要任务是将
研究目标的位置及其分类相联合来确定目标物体，该过程还需结合图像处理技术及机器学习方面的算
法，以选择需要的目标图像。目标分类主要判断输入图像是否为所需类别，目标定位则负责识别目标
物体位置，一般采用范围较广的矩形框来实现。近年来，大量国内外研究人员对目标检测领域开展了
深入研究与探索。目前，目标检测被广泛应用于人脸识别、行人跟踪、车牌识别、车辆自动驾驶等领
域。由于视野变窄、背景模糊、姿势扭曲等原因容易导致目标物体不精确，使检测目标成为具有挑战
性的任务。在许多不同实验中，深度网络模型取得了良好效果，但在实际应用中，其会受到时间与空
间方面的限制。因为深度网络模型一般是更深、更大的模型，导致所需运算量很大，其大量参数也会
占用许多存储空间。即使借助图形处理器（ ， ）进行加速
［
］
，在
时间上也依然无法满足许多应用场景的需求。
随着深度学习技术的发展，越来越多研究人员发现使用卷积神经网络对研究物体进行目标检测，准确
度可获得较大程度提升
［
］
。卷积神经网络具有提取高层特征的能力，可提高特征表达能力，并将特征
提取、特征选择与特征分类集成到同一模型中。然而，深度学习网络模型具有更深层次的结构与更高
的计算复杂性，且存储网络模型所需的空间非常大，导致其无法在资源有限的设备上有效地工作。如
果一个参数较少、重建效果较差的轻量网络尽最大程度地去学习一个参数较多、重建效果好的深度神
经网络，则既节省了相应算力及空间，又有效提高了轻量网络目标检测的准确性与精度。因此，在不
影响深度网络模型效果的前提下，现有的各种模型压缩与加速技术受到人们欢迎。压缩网络模型
［
］
是
一个重要的研究问题，自 年 等
［
!
］
提出知识蒸馏（"#$%&$$，"&）后，
知识蒸馏成为模型压缩与加速的代表类型，大量研究人员开始对图像分类领域的知识蒸馏展开研究，
但针对目标检测的研究依然较少； 年，' 等
［
(
］
将知识蒸馏引入 )*'检测网络中，
对特征提取层以及分类损失与回归损失同时展开蒸馏，提升了二阶段目标检测模型的精度； ( 年，
管文杰
［
］
将知识蒸馏引入 '%*'，并将 '%*' 二、三阶段检测器回归分类结
果作为“软目标”加入损失函数中进行蒸馏，可达到与四阶段检测相当的精度。因此，基于知识蒸馏的
目标检测得到了人们的广泛关注，也成为当前的研究热点之一。
知识蒸馏
知识蒸馏基本结构
年 等
［
!
］
在文章《&$$"#$%+$#,》中首次提出知
识蒸馏（"&）的概念。知识蒸馏作为一种典型的模型压缩方法，可将复杂、性能较好的教师网络学到
的知识传递给精简、低复杂度的学生网络，使学生网络获得接近教师网络的精度。知识蒸馏方法由
个关键组件组成：知识、蒸馏算法与师生架构
［
］
。师生架构如图 所示。
资源评论
罗伯特之技术屋
- 粉丝: 3675
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
VIP享7折，此内容立减5.97元 开通VIP
最新资源
- 基于C++的App图标资源库设计源码 - libicon
- 基于Java的日记本应用程序设计源码 - Diary
- 基于C#的.NET模板引擎设计源码 - jntemplate
- 基于51单片机+AC24C04+LCD1602显示的电子密码锁程序源代码及电路仿真.zip
- 基于C++的图形共享内存轻量级设计源码 - graphic_surface_lite
- 深入解析指令调度与延迟分支.zip
- 基于STC15F104E系列单片机的EEPROM应用程序测试例程KEIL工程源码.zip
- 基于STC15F104E系列单片机的串口通讯应用程序测试例程KEIL工程源码.zip
- java-leetcode题解之第844题比较含退格的字符串.zip
- java-leetcode题解之第824题山羊拉丁文.zip
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
