没有合适的资源?快使用搜索试试~ 我知道了~
结合语义和多层特征融合的行人检测.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 198 浏览量
2023-02-23
16:49:56
上传
评论
收藏 909KB DOCX 举报
温馨提示
试读
15页
结合语义和多层特征融合的行人检测.docx
资源推荐
资源详情
资源评论
行人检测是目标检测领域研究最广泛的任务之一, 也一直是计算机视觉任务中的热点
和难点. 行人检测任务是给出图像或视频中所有行人的位置和大小, 一般用矩形框标注. 行
人检测技术可以与目标跟踪
[1]
、行人重识别
[2]
等技术结合, 应用于汽车无人驾驶系统
[3]
、智
能视频监控
[4]
、人体行为分析
[5]
等领域. 在实际场景中, 由于行人与物体、行人间互相遮挡
以及交通标志、橱窗中的模特等相似信息的干扰, 行人检测任务仍然存在很大的挑战
[6]
.
行人检测是目标检测中的一种特例, 现阶段的很多行人检测算法都以目标检测框架为
基础. 快速区域卷积神经网络
[7]
(Fast region convolutional neural network, Fast R-CNN)和更快
速区域卷积神经网络
[8]
(Faster region convolutional neural network, Faster R-CNN)是目标检测
[9-11]
和行人检测
[12-14]
中被广泛采用的基础框架, 目前在 Caltech
[15]
行人检测数据集上效果较好
的算法大多是基于这两个框架. 如多尺度卷积神经网络
[10]
(Multi-scale convolutional neural
network, MS-CNN)和尺度感知的快速卷积神经网络
[12]
(Scale-aware fast region convolutional
neural network, SA-FastRCNN)分别基于 Faster R-CNN 和 Fast R-CNN 框架强调了尺度问题,
针对不同尺寸的行人特征设计了不同尺度的子网络.
Zhang 等
[13]
证明了 Faster R-CNN 的候选区域网络(Region proposal network, RPN)对提
取行人候选区域的有效性. 但同时也指出基于区域的卷积神经网络(Region-based
convolutional neural network, R-CNN)在分类阶段, 由于高层卷积特征图分辨率降低, 小尺寸
的行人无法得到有效的描述, 会降低检测的总体性能. 因此提出一种结合候选区域网络与决
策森林(Region proposal network + boosted forests, RPN + BF)的算法. 该算法用 RPN 提取候
选区域, 然后用决策森林对候选区域进行分类, 有效缓解了上述问题. 同样, 针对 Faster R-
CNN 中小尺寸行人检测效果不佳的问题, Zhang 等
[14]
提出自适应更快速区域卷积神经网络
(AdaptFasterRCNN), 通过量化 RPN 尺度、增大上采样因子、微调特征步幅、处理被忽略区
域和调整损失函数的方式, 进一步提升了检测效果. Yun 等
[16]
提出一种基于显著性和边界框
对齐的部分卷积神经网络(Part-level convolutional neural network, PL-CNN), 其用 RPN 提取
候选区域, 对特征图中前景和背景设置不同的权重来消除背景干扰引起的误检, 有效解决了
行人检测中遮挡和复杂背景干扰等问题.
目标检测算法的设计是为了更好地定位不同的对象, 检测过程中只用矩形框标注目标
的位置, 通常不提供目标的边界信息. 语义分割能逐像素地定位目标的边界, 将检测和分割
联合, 使用基于区域的分割方法提取特征, 自上而下地聚类计算候选区域, 能有效改进目标
检测的性能
[17]
. Hariharan 等
[18]
首次提出将分割与检测同时用于行人检测, 与文献[17]一样采
用自上而下的分割方法, 不同的是使用多尺度组合分组
[19]
(Multi-scale combinatorial
grouping, MCG)作为分割的候选区域. Wang 等
[20]
提出一种基于卷积神经网络的结合部件与
上下文信息(Part and context information with convolutional neural network, PCN)的算法, 部件
分支利用行人的语义信息来精准分类, 对被严重遮挡的行人具有良好的检测效果. Du 等
[21]
提出深层神经网络融合(Fused deep neural network, F-DNN)的架构, 主要由行人候选区域生
成器、分类网络和像素级别语义分割网络组成. 该算法在语义分割网络中使用掩膜增强行
人特征, 降低行人检测的漏检率(Miss rate, MR), 缺点是架构结构复杂, 提高了精度, 但牺牲
了速度.
上述行人检测方法虽然添加了语义分割以解决遮挡及背景干扰等问题, 但把语义分割
作为一个独立的任务来设计额外的分割网络, 计算复杂. 并且在检测过程中没有针对漏检和
误检问题设计独立模块. 因此, 本文提出一种新的利用语义分割来增强检测效果的行人检测
框架, 将语义分割掩膜融合到共享层, 增强行人特征, 解决行人的漏检和误检问题. 由于不
增加单独的语义分割网络, 因此基本不增加模型的计算复杂度. 在 RPN 的回归分支中用
VGG-16
[22]
构建一个轻量的二次检测模块, 解决前一模块初步检测的误检问题, 并且对前一
次检测的结果进行二次回归.
本文的主要创新点包括:
1)提出一种新的结合语义和多层特征融合(Combining semantics with multi-level feature
fusion, CSMFF)的行人检测算法. 增加了行人特征增强模块(Pedestrian feature enhancement
module, PFEM)和行人二次检测模块(Pedestrian secondary detection module, PSDM), 将语义
分割掩膜融合到共享层, 有效抑制背景信息的干扰和解决不同程度的遮挡问题, 并在此基础
上通过二次检测和回归减少误检, 提高定位精度.
2)在多层特征融合的基础上结合语义分割, 将骨干网络的浅层特征像素信息与深层特
征语义信息进行融合, 有效提高了小尺寸行人的检测性能.
3)行人特征增强模块可以很方便地嵌入到已有检测框架, 基本不增加运算复杂度.
1. 本文算法
提出的 CSMFF 行人检测算法除骨干网络外由两个关键部分组成: 行人特征增强模块
和行人二次检测模块.
行人特征增强模块在 Faster R-CNN 的 RPN 之前添加语义分割分支, 得到以目标框为
边界的分割掩膜. 即对骨干网络采用多层特征融合, 在此基础上用 1 × 1 卷积实现分割. 分
割时逐像素遍历图像中每个像素点, 并对每个像素点单独预测和分类, 形成语义分割掩膜.
分割掩膜通过编码得到语义信息, 映射到骨干网络的深层特征作为 RPN 的输入.
行人二次检测模块添加在 RPN 的回归分支上, 同样对多层特征融合后添加语义分割分
支, 用来解决 PFEM 初步检测的误检问题, 并对初次检测结果进行二次回归. CSMFF 框架
的流程如图 1 所示.
图 1 本文算法框架
Fig. 1 Overview of our proposed framework
下载: 全尺寸图片 幻灯片
1.1 行人特征增强模块
浅层卷积产生的特征图包含更多像素信息, 有较高的空间分辨率, 行人的轮廓更加清
晰, 用来定位行人会更准确. 深层卷积产生的特征图则包含更多的语义信息, 用于行人的检
测会更精确. 所以文中在分割时把多个卷积特征的融合特征作为分割的输入特征.
行人特征增强模块采用的骨干网络是 VGG-16, 用卷积的前 5 层来提取特征. 不同卷积
层生成的特征图表示不同尺度的行人, 卷积层越深, 特征图的尺寸就越小, 因此, 需要对不
同的卷积层采用不同的采样策略. 具体做法为: 保持 Conv2_2 层的特征图尺寸不变(112 ×
112 像素), 在 Conv3_3 层和 Conv4_3 层上分别添加一个 2 × 2 和 4 × 4 的反卷积对特征图进
行上采样, 记为 Dconv3_3 和 Dconv4_3. 然后将 Dconv3_3、Dconv4_3 与 Conv2 输出的特
征图进行级联, 生成多层特征融合层, 记为融合 1 层. 为获得较好的语义特征映射, 在融合
1 层上添加由 1 × 1 的卷积构成的语义分割分支, 用于预测输入图像在采样分辨率上每个像
素的类别, 记为分割 1 层. 语义分割层形成的行人掩膜有效抑制了背景信息的干扰, 并且网
络加深时, 语义信息会随之进入到卷积层. 利用分割的掩膜获取语义特征映射后, 将其与相
应的卷积特征图连接作为行人分类的最终特征. 具体为分割 1 层与 Conv5_3 层特征映射相
加连接, 记为融合 2 层, 最终输入 RPN 网络.
剩余14页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3550
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功