没有合适的资源?快使用搜索试试~ 我知道了~
Faster_R-CNN中文翻译1
需积分: 0 0 下载量 22 浏览量
2022-08-03
17:14:39
上传
评论
收藏 1.26MB PDF 举报
温馨提示
试读
34页
摘要最先进的目标检测网络依靠 region proposal 算法来推理检测目标的位置。SPPnet[1]和 Fast R-CNN[2]等类似的研究已经减少了这
资源详情
资源评论
资源推荐
Faster R-CNN:通过 Region Proposal 网络实现实时目标检
测
Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun
摘要
最先进的目标检测网络依靠 region proposal 算法来推理检测目标
的位置。SPPnet[1]和 Fast R-CNN[2]等类似的研究已经减少了这些检
测网络的运行时间,使得 region proposal 计算成为一个瓶颈。在这项
工作中,我们引入了一个 region proposal 网络(RPN),该网络与检
测网络共享整个图像的卷积特征,从而使近乎零成 本的 region
proposal 成为可能。RPN 是一个全卷积网络,可以同时在每个位置预
测目标边界和目标分数。RPN 经过端到端的训练,可以生成高质量的
region proposal,并使用 Fast R-CNN 完成检测。我们将 RPN 和 Fast
R-CNN 通过共享卷积特征进一步合并为一个单一的网络——使用最
近流行的具有“注意力”机制的神经网络术语,RPN 组件告诉统一网络
在哪里寻找。对于非常深的 VGG-16 模型[3],我们的检测系统在 GPU
上的帧率为 5fps(包括所有步骤),同时在 PASCAL VOC 2007、2012
和 MS COCO 数据集上达到了目前最好的目标检测精度,每个图像只
有 300 个 proposals。在 ILSVRC 和 COCO 2015 竞赛中,Faster R-CNN
和 RPN 是多个比赛中获得第一名的基础。代码已公开。
关键字
目标检测,Region Proposal,卷积神经网络
1. 引言
目标检测的最新进展是由 region proposal 方法(例如[4])和基于
区域的卷积神经网络(R-CNN)[5]的成功驱动的。尽管在[5]中最初开
发的基于区域的 CNN 计算代价很大,但是由于在各种 proposals 中共
享卷积,所以其成本已经大大降低了[1],[2]。忽略花费在 region
proposals 上的时间,最新版本 Fast R-CNN[2]利用非常深的网络[3]实
现了接近实时的速率。现在,proposals 是最新的检测系统中测试时间
的计算瓶颈。
Region proposal 方法通常依赖廉价的特征和简练的推断方案。
Selective Search [4]是最流行的方法之一,它贪婪地合并基于设计的低
级特征的超级像素。然而,与有效的检测网络[2]相比,Selective Search
速度慢了一个数量级,在 CPU 实现中每张图像的时间为 2 秒。
EdgeBoxes[6]目前提出了在 proposal 质量和速度之间的最佳权衡,每
张图像 0.2 秒。尽管如此,region proposal 步骤仍然像检测网络那样
消耗同样多的运行时间。
有人可能会注意到,基于区域的快速 CNN 利用 GPU,而在研究
中使用的 region proposal 方法在 CPU 上实现,使得运行时间比较不
公平。加速 region proposal 计算的一个显而易见的方法是将其在 GPU
上重新实现。这可能是一个有效的工程解决方案,但重新实现忽略了
下游检测网络,因此错过了共享计算的重要机会。
在本文中,我们展示了算法的变化——用深度卷积神经网络计算
region proposal——获得了一个优雅和有效的解决方案,其中在给定
检测网络计算的情况下 region proposal 计算接近零成本。为此,我们
引入了新的 region proposal 网络(RPN),它们共享最先进目标检测
网络的卷积层[1],[2]。通过在测试时共享卷积,计算 region proposal
的边际成本很小(例如,每张图像仅需 10ms)。
我们的观察到基于区域的检测器所使用的卷积特征映射,如 Fast
R-CNN,也可以用于生成 region proposal。在这些卷积特征之上,我
们通过添加一些额外的卷积层来构建 RPN,这些卷积层同时在规则
网格上的每个位置上回归区域边界和目标分数。因此 RPN 是一种全
卷积网络(FCN)[7],可以针对生成检测区域 proposals 的任务进行
端到端的训练。
RPN 旨在有效预测具有广泛尺度和长宽比的 region proposal。与
使用图像金字塔(图 1 a)或滤波器金字塔(图 1 b)的流行方法[8],
[9],[1],[2]相比,我们引入新的“anchor”框作为多种尺度和长宽比的
参考。我们的方案可以被认为是回归参考金字塔(图 1 c),它避免
了遍历多种比例或长宽比的图像或滤波器。这个模型在使用单尺度图
像进行训练和测试时运行良好,从而有利于提升运行速度。
图 1:解决多尺度和尺寸的不同方案。(a)构建图像和特征映射金字塔,分类器
以各种尺度运行。(b)在特征映射上运行具有多个比例/大小的滤波器的金字塔。
(c)我们在回归函数中使用参考边界框金字塔。
为了将 RPN 与 Fast R-CNN [2]目标检测网络相结合,我们提出
了一种训练方案,在 fine-tune region proposal 任务和 fine-tune 目标检
测之间进行交替,同时保持 region proposal 的固定。该方案快速收敛,
并产生两个任务之间共享的具有卷积特征的统一网络。
我们在 PASCAL VOC 检测基准数据集上[11]综合评估了我们的
方法,其中具有 Fast R-CNN 的 RPN 产生的检测精度优于使用
Selective Search 的 Fast R-CNN 的强基准模型。同时,我们的方法在
测 试 时 几 乎 免 除 了 Selective Search 的所有计算负担——region
proposal 的有效运行时间仅为 10 毫秒。使用[3]的昂贵的非常深的模
型,我们的检测方法在 GPU 上仍然具有 5fps 的帧率(包括所有步骤),
因此在速度和准确性方面是实用的目标检测系统。我们还报告了在
MS COCO 数据集上 [12]的 结果 ,并 使用 COCO 数据研究了在
PASCAL VOC 上 的 改 进 。 代 码 可 公 开 获 得
https://github.com/shaoqingren/faster_rcnn ( MATLAB 实现)和
https://github.com/rbgirshick/py-faster-rcnn(Python 实现)。
这篇稿件的初始版本是以前发表的[10]。从那时起,RPN 和 Faster
R-CNN 的框架已经被采用并推广到其他方法,如 3D 目标检测[13],
基于部件的检测[14],实例分割[15]和图像标题生成[16]。我们快速和
有效的目标检测系统也已经在 Pinterest[17]的商业系统中进行了部署,
并报告了用户参与度的提高。
在 ILSVRC 和 COCO 2015 竞赛中,Faster R-CNN 和 RPN 是
ImageNet 检测任务、ImageNet 定位任务、COCO 检测任务和 COCO
分割任务中几个第一名获胜模型[18]的基础。RPN 完全从数据中学习
propose regions,因此可以从更深入和更具表达性的特征(例如[18]中
采用的 101 层残差网络)中轻松获益。Faster R-CNN 和 RPN 也被这
些比赛中的其他几个主要参赛者所使用。这些结果表明,我们的方法
不仅是一个实用合算的解决方案,而且是一个提高目标检测精度的有
效方法。
2. 相关研究工作
目标 Proposals。目标 Proposals 方法方面有大量的文献。目标
Proposals 方法的综合调查和比较可以在[19],[20],[21]中找到。广
泛使用的目标提议方法包括基于超像素分组(例如,Selective Search
[4],CPMC[22],MCG[23])和那些基于滑动窗口的方法(例如窗口
中的目标[24],EdgeBoxes[6])。目标提议方法被采用为独立于检测器
(例如,Selective Search [4]目标检测器,R-CNN[5]和 Fast R-CNN[2])
的外部模块。
用于目标检测的深度网络。R-CNN 方法[5]端到端地对 CNN 进
行训练,将 proposal regions 分类为目标类别或背景。R-CNN 主要作
为分类器,并不能预测目标边界(除了通过边界框回归进行修正)。
其准确度取决于 region proposal 模块的性能(参见[20]中的比较)。
一些论文提出了使用深度网络来预测目标边界框的方法[25],[9],[26],
[27]。在 OverFeat 方法[9]中,训练一个全连接层来预测假定单个目标
定位任务的边界框坐标。然后将全连接层变成卷积层,用于检测多个
类别的目标。MultiBox 方法[26],[27]从网络中生成 region proposal,
网络最后的全连接层同时预测多个类别不相关的边界框,并推广到
OverFeat 的“单边界框”方式。这些类别不可知的边界框框被用作 R-
剩余33页未读,继续阅读
好运爆棚
- 粉丝: 29
- 资源: 342
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0