没有合适的资源?快使用搜索试试~ 我知道了~
多源数据行人重识别研究综述.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 160 浏览量
2023-02-23
16:53:30
上传
评论
收藏 1.21MB DOCX 举报
温馨提示
试读
20页
多源数据行人重识别研究综述.docx
资源推荐
资源详情
资源评论
随着视频监控系统在城市中的广泛应用, 利用摄像机拍摄的画面判断出现在不同图像
中的行人是否是同一个人, 并通过摄像机生成轨迹预测他们行为的技术已经广泛应用于智
能视频监控、安保、刑侦等领域, 在日常调查中发挥着越来越重要的作用. 这种运用计算机
视觉和机器学习等方法判断某个摄像机中的特定行人是否出现在其他摄像机中的技术称为
行人重识别(Person re-identification, Re-ID), 如图 1 所示. 行人重识别不仅具有非常迫切的
应用需求, 还具有非常重要的研究价值, 近年来, 行人重识别引起了学术界和工业界的广泛
关注, 是计算机视觉领域的一个研究热点. 经过 10 多年的发展, 国内外相继提出了大量行
人重识别模型, 在限定的仿真条件下已经取得了非常高的准确率
[1-3]
, 在 Market-1501 数据集
上达到了 94.0 %, 在 CUHK03 数据集上则为 96.1 %, 这一准确率甚至超过了人类视觉的能
力.
图 1 行人重识别示意图
Fig. 1 An example illustrating person re-identification
下载: 全尺寸图片 幻灯片
行人重识别研究是基于监控视频检索, 具有其特殊性, 在实际城市视频监控中, 行人对
象的画面质量较差、分辨率较低, 而且还存在明显的视角、光照变化
[4]
. 因此, 相对于通用
图像检索, 行人重识别仍面临以下问题: 1) 在不同监控摄像机中, 行人与摄像机的距离不
同, 导致不同摄像机视域下的行人图像分辨率、光照和视角不同, 同一个行人对象的不同图
像视觉特征会产生明显的变化; 2)同一行人在不同摄像机视域拍摄的画面中受背景和其他因
素导致的遮挡程度不同, 大量的行人遮挡问题导致完整的行人图像比较少; 3)由于受行人姿
势及摄像机角度变化影响, 在不同监控摄像机中, 不同行人图像之间的视觉特征差异可能比
较小. 此外, 一些特定的问题也没有受到足够的重视, 比如大规模快速检索问题、数据不足
问题、实际环境中人员信息情况复杂跨多模态问题等
[3]
, 这使得行人重识别问题比一般基于
实例的图像/视频检索更加困难.
现有的行人重识别工作多使用一般可见光摄像机所获取的同一类型数据, 然而实际生
活中摄像机采集到的图像质量参差不齐, 仅利用可见光摄像机采集的图像取得的识别效果
可能并不尽人意, 往往还需要结合其他类型的数据信息才能取得良好的效果, 如图像数据与
视频数据
[5]
、可见光图像数据与其他图像数据、图像数据与文本数据等. 如果将同一数据特
性下的行人重识别问题认为是一般的行人重识别, 则与之相对应, 我们总结了使用多种数据
进行行人重识别的方法, 称之为多源数据行人重识别(图 2). 由于数据来源和数据类型并不
一致, 其成像原理和图像质量也不一致, 因此多源数据行人重识别除了需要克服一般行人重
识别面临的问题外, 还需要着重解决跨模态的特征匹配这一关键难题.
图 2 多源数据行人重识别类型
Fig. 2 Scope of multi-source data person re-identification studied in this survey
下载: 全尺寸图片 幻灯片
在实际的行人识别过程中可用信息来源较多, 但鉴于数据获取和利用的难易程度, 本
文所说的多源数据行人重识别主要考虑以下几种交叉类型/模态的行人重识别问题: 1)使用
不同的相机规格和设置, 如高分辨率与低分辨率图像; 2) 使用不同的拍摄设备, 如可见光与
红外摄像机, 可见光与深度传感器; 3) 根据历史文档记录或对行人的描述获得的文本信息;
4)由专家或者数字传感器自动获得的图像, 如刑侦系统使用的素描与数字照片.
低分辨率: 在当前社会的安全环境考虑下, 将低分辨率行人图像与高分辨率行人图像
进行匹配是一个热门挑战. 而受到环境、成像条件等多方面因素的影响, 实际视频侦查中得
到的行人图像分辨率多变, 且分辨率往往较低. 在这种数据特性更复杂的情况下, 传统的基
于单一高分辨率的行人重识别方法辨识能力显著降低.
红外: 红外(Infra-red, IR)图像是由红外设备而非可见光设备拍摄的. 红外设备可以在可
见光不可控的环境下建立受控的拍摄条件, 但红外设备的成像原理和方式与可见光设备完
全不同, 多源数据行人重识别的挑战在于将红外图像与可见光图像进行匹配.
深度图像: 深度图像(Depth image)也称为距离图像(Range image), 是指将从摄像机到场
景中各点的距离(深度)作为像素值的图像, 它直接反映了被拍摄物体可见表面的几何形状,
在行人衣着发生改变或照明条件较差时常使用深度图像进行行人身份识别.
文本: 大多数视频监控系统都依赖于在不同摄像机视域下拍摄的视频. 事实上, 在调
查过程中, 除了监控视频外, 调查人员还手工标注了一些注记, 这些注记虽然信息不完整,
但准确性高, 有助于识别行人身份. 文本-视觉匹配旨在测量文本描述与图像之间的相似性.
素描: 素描行人重识别是根据手工或软件绘制的行人全身素描图像, 与照片数据库中
的行人图像进行匹配的过程. 在无法获取目标人物照片的情况下, 素描行人重识别能根据专
业人员绘制的素描图像自动搜索所有监控图像, 迅速缩小目标人物的范围, 具有重要的现实
意义.
1 多源数据行人重识别的基本特征
传统的行人重识别方法从特征提取和度量学习两个方向进行研究, 2014 年, Li 等
[6]
率先
使用深度学习方法进行行人重识别研究, 此后越来越多的研究者尝试将深度学习方法与行
人重识别研究进行结合. 行人重识别的基本程序如下: 1) 根据行人特征提取方法从检索图
片/视频库中提取特征; 2) 针对提取的特征利用相似性判别模型进行训练, 获得能够描述和
区分不同行人的特征表达向量, 度量计算特征表达向量之间的相似性; 3) 根据相似性大小
对图像进行排序, 将相似度最高的图像作为最终的识别结果. 近年来, 一般行人重识别技术
在公共行人识别数据集上获得了很高的精确度, 但这些方法大多是基于一个关键的假设, 即
所有人的图像都是在白天用可见光相机拍摄的, 且具有统一和足够高的分辨率. 而在实际应
用过程中, 总是存在各种分辨率和尺度(包括低分辨率和小尺度)的图像; 在照明条件较差的
夜间或者室内通道等环境下, 则常常利用红外设备或深度传感器而不是可见光设备进行拍
摄; 此外, 刑侦人员通常还需要依靠证人的描述和素描图像来检索系统中的人物图像. 在这
些情况下, 数据本质有很大的变化, 一般的行人重识别模型在匀质条件下的设计将失去其有
效性.
多源数据行人重识别则针对每类数据使用一个特定于该类型的网络来提取或构造特定
信息并映射到同一个表达空间, 然后, 利用共享网络在共享表达空间中生成特征, 这个通用
的重识别网络通过中心损失、三重损失等损失函数进行训练并与普通网络相连, 实现跨数
据类型的行人重识别. 然而, 当对近 6 年 ICCV、CVPR、AAAI 等顶级国际会议关于一般行
人重识别和多源数据行人重识别的论文数量汇总后发现(图 3(a)), 一般行人重识别问题是当
前研究的热点方向, 而针对跨数据类型的行人重识别研究屈指可数, 我们对 5 种多源数据
行人重识别方法取得的最好效果与一般行人重识别的最优效果进行对比发现(图 3(b)), 由于
多源数据行人重识别涉及不同类型的信息, 加之行人本身诸多因素的影响, 导致其特征提取
和匹配难度大, 准确率远低于一般行人重识别, 如素描行人重识别目前最高的准确率仅为
34 %, 红外图像行人重识别最高的识别率为 46.4 %, 不到一般行人重识别准确率的一半. 与
一般行人重识别问题相比, 多源数据行人重识别在非均匀条件下的研究虽然更加实际, 但也
是一个更具挑战性的问题(表 1).
图 3 一般行人重识别与多源数据行人重识别论文数量和最优效果对比
Fig. 3 The state-of-the-art performance and number of papers between general Re-ID and multi-
source data Re-ID
剩余19页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3536
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- DatabaseWatermarkingBasedonTextFormat
- -移动通信-网络课程设计与研究
- 基于Python的PCA人脸识别算法的原理及实现代码+文档详解.zip
- 甘肃移动全业务工程建设项目管理流程优化研究
- 549springboot + vue 民宿管理平台.zip (可运行源码+数据库文件+文档)
- ZArchiver.Pro_0.9.5.apk
- vmware环境配置.mp4
- 548springboot + vue 大学生社团活动平台.zip(可运行源码+数据库文件+文档)
- 微信小程序 辩论倒计时小程序源码 作业设计demo 计算机专业参考
- 深入探究文件IO,嵌入式Linux
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功