没有合适的资源?快使用搜索试试~ 我知道了~
基于图像和特征联合约束的跨模态行人重识别.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 48 浏览量
2023-02-23
20:16:27
上传
评论
收藏 1.13MB DOCX 举报
温馨提示
试读
14页
基于图像和特征联合约束的跨模态行人重识别.docx
资源推荐
资源详情
资源评论
近年来, 随着城市监控网络的不断完善, 行人重识别技术由于其巨大的应用潜力而受
到越来越多的关注. 给定一个需要检索的行人图像, 行人重识别的任务是检索出一段时间内
由非重叠区域下的摄像机所拍摄到的所有该行人图像, 其在智能监控、行人追踪、行为分
析等计算机视觉应用及公共安全领域扮演着十分重要的角色
[1-4]
.
当前行人重识别研究方法大多都专注于解决在可见光条件下人体姿态、背景、光照等
的问题. 因此, 此类方法主要采用行人特征提取、相似性判别或基于生成式
[5-8]
的方式来实
现行人重识别. 例如, Zhao 等
[5]
提出了一种基于人体区域引导的多级特征分解和树状结构竞
争特征融合的 Spindle-Net 网络, 其主要用于对齐人体语义区域来解决行人重识别问题; Sun
等
[6]
提出采用基于注意力机制的方式, 把行人水平均匀分割成六个子块, 并对其进行局部调
整对齐, 极大地改善了行人重识别的效果; Hermans 等
[7]
提出了一种改进的三元组损失函数,
其约束条件在于除要求行人类内距离小于类间距离, 还使其小于某个阈值来提升行人重识
别的效果; PTGAN 算法
[8]
提出一种保持行人图像前景不变而将背景迁移为目标图像背景的
方法, 极大地缓解了行人重识别研究所面临的数据标注困难的问题.
然而, 在实际的监控系统中, 特别是在光照不足的条件下, 摄像机通常需要从可见光模
式切换到近红外模式来应对这种情况. 因此, 在将此类方法应用于实际场景之前, 有必要考
虑可见光与近红外跨模态下的行人重识别问题.
基于跨模态下的行人重识别已成为近两年来业内人士的一个重要关注点. 其研究目标
是对可见光状态下(自然状态)和近红外状态下(摄像机所捕捉到行人不同光谱的状态)的行人
进行匹配
[9-13]
. 目前, 该方向主要有两种思路: 一种是基于近红外和可见光模态下的行人特
征提取方法; 另一种是基于生成式的方式(Generative adversarial networks, GANs)将两种跨模
态下的行人转换成同一种模态, 以实现行人重识别过程.
针对前者, Wu 等
[9]
提出了一种基于深度零填充的方式将两种模态以参数共享的方法进
行训练来解决行人重识别问题. Ye 等
[10]
提出了一种基于双向双约束 Top-ranking 损失的双路
网络来提取行人特征. 此外, 在其另一项工作中
[11]
, 他们提出了一个层级跨模态匹配模型来
联合优化行人在特定模态和共享模态下的特征描述. 对于后者, Dai 等
[12]
设计一个基于判别
器的生成对抗训练模型, 从不同的模态中学习具有判别力的特征. 为了减少模态差异, Wang
等
[13]
提出一种将近红外图像和可见光图像进行相互转换的方法, 并提取相应模态下的行人
图像特征. Wang 等
[14]
认为灰度图像比彩色图像的识别效果高, 将彩色图像全部转换为灰度
图像并用于行人重识别中.
上述提到的方法虽然在一定程度上提升了跨模态行人重识别的精度, 但由于可见光图
像和近红外图像具有数据独立且分布不同的特点, 导致其相互转换的图像与真实图像之间
存在数据差异. 基于此, 本文设计了一种新颖的中间模态生成器, 通过将两种模态分别进行
特征提取后, 以自适应的方式解码在一个共享的潜在特征空间, 进而转化为中间模态的图
像, 利用其潜在的特征空间来实现可见光与近红外之间的迁移, 从而提升行人重识别的效
果. 实验表明, 本文方法不仅可以减少跨模态行人重识别的模态差异, 而且还能保持行人外
貌特征的一致性, 极大地提升了跨模态行人重识别的精度.
在此基础上, 为了保留生成图像与真实图像之间行人身份的一致性, 本文提出特征约
束模块和图像约束模块, 从特征层和图像层分别对中间模态生成器进行约束.
另外, 在基于监督的行人重识别中, 数据集的标注是一个耗时耗力的工作, 而跨模态的
数据集的标注更加困难, 加剧了行人重识别算法设计的复杂度. 因此, 本文提出了一个用于
评估实际监控场景下的跨模态行人重识别数据集, 本数据集仅用于测试, 而不用于训练, 详
细见下文的第 3.2 节.
综上所述, 本文贡献主要包括以下三个方面:
1)本文提出了一种新的中间模态生成器, 用于解决近红外与可见光状态下的行人重识
别过程中所存在模态差异性的问题.
2) 为了保持生成器在生成过程中行人身份的一致性, 本文提出了一个特征约束模块和
图像约束模块, 分别用于特征层和图像层的联合约束.
3) 针对跨模态行人重识别数据集的匮乏, 本文提出了一个用于评估实际监控场景下基
于跨模态的行人重识别数据集.
实验结果证明了该方法的有效性, 相对于当前跨模态的行人重识别方法, 本文所提出
的算法取得了较大的性能优势.
1. 方法
1.1 总体框架
在此小节中, 将介绍本文所提出的基于图像和特征联合约束的中间模态行人重识别方
法, 如图 1 所示, 本文所提出的方法的完整结构包括: 中间模态生成器(Middle modality
generator, MMG)、特征约束模块(Feature constraint module, FCM)和图像约束模块(Image
constraint module, ICM). MMG 模块是为了解决跨模态行人重识别中由于图像成像的变化而
导致的模态差异问题, 通过加入 MMG 模块, ICM 模块可以更好地关注不同行人之间的距
离; 而 ICM 模块也可以反过来对 MMG 模块进行约束, 促进 MMG 模块寻找更加合适的图
像和特征, 因此本文所提出的 MMG 模块和 ICM 模块两个可以相互促进、共同优化.
图 1 本文方法的总体框架
Fig. 1 The overall framework of this method
下载: 全尺寸图片 幻灯片
在训练阶段, 每个输入图像都被用于训练采用了生成对抗网络的近红外与可见光模态
编码器. 同时, 共享解码器将利用这两个编码器中的中间特征来解码到中间模态图像, MMG
所生成的中间模态图像作为了行人重识别(ICM)的输入. 由于 MMG 是一个独立的模块, 该
部分较容易地嵌入到一个设计良好的 ICM 模块中, 并进行端到端的训练. 在这项工作中,
本文采用基于 ResNet-50 网络
[15]
训练所提出的 MMG.
本文所提出的基于图像和特征联合约束的跨模态行人重识别方法, 在图像层面通过行
人重识别约束模块(ICM)对生成对抗网络的中间模态生成器模块(MMG)所生成的中间模态
图像进行约束, 在特征层面通过特征约束模块(FCM)对生成对抗网络的中间模态生成器模块
(MMG)的编码器进行特征层面的约束.
1.2 中间模态生成器
尽管利用 GAN 从近红外和可见光图像相互迁移在行人重识别的性能上取得了一定的
进展, 但由于潜在传输空间巨大, 瓶颈明显. 因此, 本文试图在普通 GAN 的基础上, 在近红
外和可见光之间的迁移空间中找到一个潜在的中间模态. 受启发于基于 CycleGAN
[16]
的生成
器的结构可分为两部分: 编码器和解码器. 根据这一结构, 本文在近红外和可见光的生成器
中添加了另一个共享的解码器, 以从近红外和可见光图像中得到一种潜在的中间模态图像.
在本文中, 本文定义 xvisxvis 表示来自于可见光模态 XvisXvis 的输入图像, xnirxnir 表
示来自于近红外模态 XnirXnir 的输入图像, 本文采用了 CycleGAN
[12]
的近红外−可见光循环
一致性结构来建立本文的中间模态生成器 MMG 模块, 在本文方法中, MMG 模块包括近红
外和可见光两个模态生成器用以促进中间模态的生成, 其中生成器 GvisGvis 和判别器
DvisDvis 用来从近红外模态生成和判别可见光模态的图像, 生成器 GnirGnir 和判别器
DnirDnir 用来从可见光模态生成和判别近红外模态图像. 因此, 本文的 MMG 模块可以通过
以下对抗损失来进行训练:
LvisGAN=Exvis∼Xvis[lnDvis(xvis)]+Exnir∼Xnir[ln(1−Dvis(Gvis(xnir)))]LGANvis=Exvis∼Xvis[lnDvis(xvis)]+Exnir∼Xnir[ln(1−Dvis(Gvis(xnir)))]
(1)
LnirGAN=Exnir∼Xnir[lnDnir(xnir)]+Exvis∼Xvis[ln(1−Dnir(Gnir(xvis)))]LGANnir=Exnir∼Xnir[lnDnir(xnir)]+Exvis∼Xvis[ln(1−Dnir(Gnir(xvis)))]
(2)
剩余13页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3654
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功