没有合适的资源?快使用搜索试试~ 我知道了~
机场航站楼热成像视频下融入运动信息的显著人体检测方法.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 57 浏览量
2023-02-23
20:13:29
上传
评论
收藏 345KB DOCX 举报
温馨提示
试读
11页
机场航站楼热成像视频下融入运动信息的显著人体检测方法.docx
资源推荐
资源详情
资源评论
摘要
弱光背景下的目标检测是航站楼夜间巡检机器人的主要任务之一。为充分提取与利用动态场景视频
数据中的运动信息,提高检测方法在人体被遮挡、图像边缘的人体目标不完整等实际复杂情况下的
检测效果,避免因单帧检测结果不完全引起的歧义,提出一种机场航站楼热成像视频下融入运动信
息的显著人体检测方法。该方法首先通过背景模型初步分离图像数据的前景和背景,借由特征点轨
迹聚类和运动估计仿射模型进一步分离因摄像机运动被误判的背景区域,最后将运动目标检测结果
作为运动信息与单帧检测算法结果相融合。在 4 个数据集中的实验表明,该方法能够有效地从动态
场景视频数据中提取运动信息,且能够有效提升单帧检测精度,并避免检测不完全情况的发生。
Abstract
Target detection in low light background is one of the main tasks of night patrol
robot for airport terminal. In order to sufficiently extract and make use of the
motion information in the dynamic scene video data, improve the detection effect
of the detection method in the face of the actual complex situations such as the
human body is blocked and incomplete human target at the edge of the image,
and avoid the ambiguity caused by the incomplete detection results of a single
frame, a salient human body detection method incorporating motion information
under thermal imaging video of the airport terminal is proposed. First, the
foreground and background of image data are separated preliminarily by a
background separation model. Then, the background area misjudged by camera
motion is further separated by a feature point track clustering and motion
estimation affine model. Finally, the motion target detection result is fused with
the results of single frame detection algorithm as motion information.It can
effectively extract motion information from dynamic scene video data. Experiments
on four datasets show that this method can effectively improve the accuracy of
single-frame detection and avoid the occurrence of incomplete detection.
译
关键词
热成像; 目标检测; 运动信息; 动态场景; 显著人体检测
Keywords
thermal imaging; target detection; motion information; dynamic scene; salient
human body detection
译
0 引言
随着民航事业的蓬勃发展,机场的安全性越来越受到人们关注。传统采用员工在航站楼中巡检的方
式费时费力,员工的责任心成为影响巡检效果的关键因素。若员工在巡检过程中出现分心,则极易
造成航站楼的安全隐患。因此,使用巡检机器人代替人工完成航站楼巡检工作成为必然的发展趋势。
为适应夜间机场航站楼弱光甚至无光的环境,选用热成像摄像头作为巡检机器人的监控摄像头成为
最佳选择。
热成像摄像头主要通过环境中的红外辐射形成单通道图像,所以由热成像摄像头提供的热成像视频
在弱光甚至无光环境下可具有较好效果。人体自身体温使得人体图像在热成像视频中更加显著,也
使得针对人体的显著检测算法能够在热成像视频中取得良好效果。近年来,研究者们进行了大量显
著人体检测算法实验,如文献[1]利用区域和边缘对比度生成的联合对比度突出图像的显著性区
域,也有将视觉注意力和信息论运用于显著人体检测的方法
[ 2]
。随着深度神经网络的广泛运用,
大量基于深度神经网络的显著性检测算法被提出,比如在 U-Net 网络
[ 3]
基础上利用混合损失指导
三层次神经网络的 BASNet 模型
[ 4]
,在 U-Net 网络中引入多个 LSTM 注意力神经网络的网络模型
[ 5]
等。
诸多实验已证明显著人体检测算法在热成像场景下的有效性,但是大多数显著人体检测算法都是将
连续帧的视频数据拆成一帧一帧的静态图像进行检测,这种检测算法在面对机场航站楼的真实复杂
场景时依旧面临巨大的挑战,特别是人体在热成像图像中呈现的复杂情况,如人体部分被遮挡、图
像边缘的人体目标不完整等。视频数据与静态图像数据最大的不同之处是视频可通过连续帧反映出
物体运动信息,而由于人体运动产生连续帧之间的差异,使得人体图像更加突出与显著,因此在单
帧的显著性检测效果不佳时,在显著性检测方法中融入动态信息以便更好地利用连续帧视频数据成
为一种重要的手段。通常通过检测连续帧中运动目标的方式提取运动信息,但是热成像视频存在缺
少纹理特征、视觉效果模糊、分辨率和信噪比低等特点,为检测连续帧中的运动目标带来了巨大挑
战。
基于热成像视频的以上特点,在进行运动目标检测时无需考虑光照变化带来的影响,但也使得运动
目标检测中较为常用的光流法
[ 6]
无法适用于热成像视频。常用的帧差法实现起来十分简单,但是
该方法过于敏感,检测结果中往往存在大量非可疑目标的背景区域
[ 7]
。背景差法是通过背景模型
将运动目标作为前景从背景区域中提取出来,使用高斯混合模型
[ 8]
、RPCA 模型
[ 9]
和改进的 ViBe
算法模型
[ 10]
等背景模型的背景差法也是目前最流行的运动目标检测方法,其兼顾了鲁棒性和效率,
并且将背景模型与帧差法相结合,有助于提高目标检测精度
[ 11]
,但是背景差法也面临着如相机移
动、背景动态变化等诸多挑战
[ 12]
。为了保证巡检效率,在实际的机场航站楼巡检机器人场景中,
要求巡检机器人一直保持动态移动。摄像机的动态移动使得运动目标检测更具挑战性,虽然背景差
法可通过背景模型的更新来适应背景的轻微变化,但仅使用背景差法检测动态热成像场景中的运动
目标无法取得良好效果。
基于上述观察,本文提出一种动态热成像摄像头下的运动目标检测方法(DTMD),并将检测结果
作为一种运动信息通过 融合模块融入到单帧显著性检测 方法中,从而充分利用连续帧的视频数 据,
使融合后的显著人体检测方法在面对人体部分被遮挡、人体在出入图像边缘等机场实际复杂情况时
依然能取得良好效果。
1 相关工作
1.1 动态场景中的运动检测
在摄像机保持移动的情况下,随着摄像机的移动,整个视频画面都在发生运动。在该情况下,区分
静止物体与运动物体变得十分困难。背景差法虽然可通过更新背景模型的方式使背景模型适应因摄
像机移动带来的连续帧背景变化,但是效果十分不理想。因此,如何通过对背景差法的改良应对动
态摄像机一直都是研究热点。
文献[13]提出基于特征的方法构建全景图,将摄像头拍摄到的图像看成一整个平面来消除背景运
动。但这种构建全景图的方式只对平移或平转运动的摄像机有一定作用,在实际的机场场景中,巡
检机器人多数的运动是前后移动,因此该方法无法应用于机场巡检机器人场景中。部分研究者会通
过运动估计消除动态摄像机的影响,如构建两个背景模型以完成不同任务,一个用于估计摄像机运
动, 一个用于 检测前景
[ 1 4 ]
。使 用运动估 计仿射模 型,通过 6 个参数的估计可快速进行运 动估计
[ 15]
。还有一些研究者则是通过特征点轨迹来分离前景和背景,通过分析特征点轨迹,对其进行标
记,并将标记信息传播至整个图像。常见的特征点分析方法有对轨迹属性进行聚类的方法
[ 16]
、通
过动态子空间分析轨迹数量随时间变化的方法
[ 17]
以及结合物体外观特征的方法
[ 18]
等。但是上述
方法大多仅在可见光场景下有效,在热成像场景下,部分方法并不能取得良好效果。因此,基于深
度神经网络对场景进行评估并将分析结果用于检测模型设计中
[ 19]
,或者直接对背景建模
[ 20]
成为
应对背景变化、摄像机移动等问题的有效方法。但是基于深度神经网络的方法往往需要大量计算资
源,较为耗时,而机场巡检任务对实时性要求较高,所以将基于深度神经网络的运动目标检测作为
运动信息提取方法在当前场景中并不适用。
受上述启发,为应对热成像场景,本文使用背景模型并结合图像特征点轨迹的聚类方法与运动估计
仿 射 模 型 以 区 分 视 频 数 据 的 前 景 和 背 景 , 提 出 一 种 动 态 热 成 像 摄 像 头 下 的 运 动 目 标 检 测 方 法
(DTMD),该方法能够有效解决热成像场景下摄像机移动导致的背景变化等问题。
1.2 显著性检测融合运动信息
基于静态图像的显著性检测方法未能发挥视频连续帧数据的优势,也没有充分利用物体的运动信息。
研究者们为了充分利用物体运动信息,也提出许多融合物体运动信息的显著性检测算法,将运动信
息作为神经网络的一部分融入显著性检测神经网络中。文献[21]将过去帧、过去帧的检测显著图
和当前帧作为卷积神经网络的输入,使得神经网络在检测显著性对象时可结合时间信息和物体运动
信息。递归神经网络一直都是处理序列化数据的有效方法,如 FGRNE 神经网络可结合物体运动信
息与 LSTM 序列特征进行显著性检测
[ 22]
。
虽然将连续帧作为神经网络的一个分支输入可有效提取与利用运动信息,但此类模型往往需要大量
计算资源作为支撑,对于实时性要求较高的巡检任务并不合适。而且在实际场景中,也有许多未发
生移动的显著人体,此时运动信息分支的神经网络无法为显著性人体检测提供帮助,甚至会产生负
面影响。
为应对热成像场景,本文提出将运动信息检测与显著性检测作为两个任务分支同时执行,最后将两
个分支的输出进行融合,得到最终融合运动信息的显著人体检测方法,该方法能够在巡检机器人有
限的计算资源下达到实时检测效果。
2 融入运动信息的显著人体检测方法
在处理视频数据时,通常将连续的图像数据作为检测方法的输入数据。本文方法先后将两张图像数
据作为融入运动信息的显著人体检测方法的输入数据,一帧为当前帧图像数据,也是检测图像数据,
剩余10页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3651
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功