基于阶梯型特征空间分割与局部注意力机制的行人重识别.docx

版权申诉

14 浏览量 2023-02-23 20:09:34 上传评论收藏 371KB DOCX 举报

资源推荐

资源详情

资源评论

1. 引言

行人重识别是在跨监控设备下检索出给定行人图像目标的技术，广泛应用于智能安

防、人机交互、电子商务等领域。由于监控设备下的行人图像存在角度变化、光照、遮挡

和分辨率低等问题，行人重识别仍然是一项具有挑战性的任务。早期行人重识别的研究通

常是对行人图像提取颜色直方图、HOG、纹理等手工特征。但手工设计的特征描述能力有

限，传统算法识别率比较低。此外，许多研究者在距离度量学习方法上进行研究，周智恒

等人

[1]

提出一种等距离度量学习策略，陈莹等人

[2]

提出一种双向参考集矩阵度量学习算法。

为克服度量模型的过拟合问题，He 等人

[3]

提出环推度量学习算法。2016 年后，随着深度学

习在行人重识别任务中的应用，算法性能大大超过了早期的传统方法。

基于深度学习的行人重识别主要可以归纳为基于生成对抗网络

[4]

、特征空间分割、行

人姿势和注意力机制的方法

[5]

。研究者利用生成对抗网络来扩大数据集和增加数据多样

性，如 Zheng 等人

[6]

利用生成对抗网络来生成更多模拟的数据。在全局特征遇到性能瓶颈

后，研究者更加注重局部特征的研究。Sun 等人

[7]

提出的 PCB 模型将所提取的全局特征均

匀分成 6 个水平块。Wang 等人

[8]

提出了一种整合全局特征和局部特征的多粒度模型。但简

单的分块可能造成块与块间有效信息的丢失，且无法实现水平块之间的对齐。Zhao 等人

[9]

借助人体的 14 个姿势关键点生成 7 个子区域，然后将其与全局特征一起送入特征融合网络

得到最终的行人特征表示。Miao 等人

[10]

利用姿态将有用信息从遮挡中分离出来。结合人体

姿势信息进行预测，能够有效避免姿态错位导致的特征对齐困难，但需要大量额外的监督

和姿势预测过程。另一个比较有效的是注意力方法，它可以模仿人类的视觉信号处理机

制，并且不需要使用具体的语义特征，相比结合姿势的方法，能在一定程度上减轻工作。

Song 等人

[11]

利用二值掩膜设计了一种对比注意力模型来分别学习身体和背景区域的特征。

Li 等人

[12]

提出了注意力融合卷积神经网络模型，从而优化图像未对准的情况。注意力机制

方法对于行人遮挡和分辨率低等问题有一定的帮助，但在识别的过程中可能丢失一些比较

重要的数据。

为了解决上述问题，本文将特征空间分割和注意力机制相结合，提出了更加有效的特

征空间分割方式，针对局部分支引入了注意力机制策略。首先，改进了以往空间分割的方

法，对切分为多个水平区域的特征图进行阶梯型特征提取，与之前的强制水平分割相比，

阶梯型特征提取能够关注更多的边缘信息，加强局部特征之间的联系。其次，在多个局部

分支中引入了分支注意力，按重要性给每一个局部分支分配相应的权重，从而在更注重包

含比较多重要信息的分支同时削弱无关信息的关注程度。最后，在每一个局部分支后引入

卷积核注意力、通道注意力和空间注意力，结合多类注意力机制能够获得更好的判别特

征。

2. 特征空间的分割及注意力机制的引入

2.1 网络结构

本文网络结构如图 1 所示，该网络以 ResNet-50 为骨干网络，且在最后一层卷积

conv5_x 前划分成两个独立的分支。第 1 个分支延续原始 ResNet-50 相同的体系结构，提取

行人图像的全局特征。第 2 个分支提取多粒度的局部注意力特征。

图 1 阶梯型局部分支注意力网络（Stepped Local Branch Attention Network，SLANet）结构

下载: 全尺寸图片幻灯片

对于第 2 个分支，在 conv5_x 中设置卷积步长为 1，从而增大网络输出的特征图来获

得更多的特征信息。随后又划分为 3 个独立的分支：分支 1、分支 2、分支 3。将调整为

384×128 大小的图像输入到网络后，在该分支经过 conv5_x 得到大小为 24×8 的整体行人特

征图，其维度为 2048 维。在分支 1 利用所得的整体行人特征图来获取完整图像特征信息。

在分支 2 将整体行人特征图输入到阶梯型分支注意力模块(Stepped Branch Attention Module,

SBAM)进行阶梯型特征分块，得到 P 个不同权重的局部特征。在这里设置 P=5，表示划分

得到 5 个局部区域，其中每一个分块区域的大小为 12×8。在分支 3 将整体行人特征图输入

到 SBAM 模块进行阶梯型特征分块，得到 P 个不同权重的局部特征，设置 P=9，每一个分

块区域的大小为 8×8。对分支 2 和分支 3 得到的 14 个局部特征都单独送入到多尺度自适

应注意力模块(Multi-scale Adaptive Attention Module, MAAM)，从而得到融合了卷积核注意

力、通道注意力和空间注意力的局部特征图，所有经过 MAAM 模块的特征图尺寸不变。

然后对 3 个分支得到的 15 个特征图分别进行最大池化和降维处理，得到 15 个 265 维特征

向量。

在训练阶段，将所有降至 256 维的特征分别送入全连接层后使用标签平滑的交叉熵损

失进行分类学习，对全局分支和分支 1 得到的 256 维特征使用三元组损失进行度量学习。

在测试阶段，将所有降至 256 维的特征连接起来作为最终特征，从而充分结合全局和局部

信息来获得最强大的识别能力。

2.2 阶梯型分支注意力模块

特征空间分割是一种比较有效的局部特征提取方法，但现如今许多特征空间分割的方

法都是水平均匀分块，这种方式能够学习到人体不同区域的差异，但块与块之间的边缘信

息容易被忽略。如图 2 所示，对于尺寸调整后的原始行人图像，若是把它划分成左侧图中

的 4 个水平块，第 1 块和第 2 块会将该行人衣服上的白色标志分离，同时第 2 块和第 3 块

会将红色斜跨包分成两部分。这样则会忽略以及破坏块与块边缘的重要信息，导致在对每

一块进行单独分类时达不到最终期待的效果。于是本文提出了一种按特定数量以阶梯型选

取图像块从而得到多个分支的方法。对于分支 2 首先将原始完整行人图像均匀分成 8 个水

平块，最初以第 1 块为起始块，每 4 块为一个整体作为一个局部区域，随后以步长为 1 往

下更改起始块进行阶梯型分块，最终得到 5 个局部分区。可以看到，局部分区(a)和(b)中都

包含有衣服上完整的白色标志，局部分区(b)和(c)中都包含有完整的斜挎包信息。该方法更

注重图像水平块间的内在联系，能够避免特征学习过程中某些重要信息的丢失。

图 2 阶梯型分块方式

下载: 全尺寸图片幻灯片

以往基于特征空间分割的方法中每个水平分块都享有一样的权重，背包等细节信息不

能有效地凸显。本文给含有较多重要信息的分支分配比较大的权重，使模型聚焦到具有强

分辨力的分支上。对于网络的第 2 个分支，输入一张图像经过 conv5_x 后得到特征图

F∈RC×H×WF∈RC×H×W，接下来在分支 2 和分支 3 将特征图 FF 输入 SBAM 模块。在

SBAM 模块中，首先进行阶梯型分块。对于分支 2，将 FF 分割成 8 个水平部分，每 4 个部

分为一组得到一个局部区域，局部区域的起始块从第 1 块开始以步长 1 向下移动，最终能

提取 5 个局部区域，其中每一个特征区域为 Fi∈RC×(H/2)×W(i=1,2,3,4,5)Fi∈

RC×(H/2)×W(i=1,2,3,4,5)。然后对每一个 FiFi 进行注意力聚焦，首先对其在空间维度上进

行压缩，计算方法为

F′i=FC2(FC1(Avgs(Fi)))+FC2(FC1(Maxs(Fi)))Fi′=FC2(FC1(Avgs(Fi)))+FC2(FC1(Maxs(Fi)))

(1)

其中，AvgsAvgs 和 MaxsMaxs 分别为对输入数据在空间维度上进行平均池化和最大

池化，压缩后得到两个 1 维矢量。FC1FC1 和 FC2FC2 作为共享部分对两个矢量在通道上进

行压缩和恢复，最后相加融合后得到 F′i∈RC×1×1Fi′∈RC×1×1。为了给每个局部区域赋予权

重，再对 Fi′Fi′在通道维度进行压缩聚焦，表示为

si=Sumc(F′i)si=Sumc(Fi′)

(2)

mi=Maxc(F′i)mi=Maxc(Fi′)

(3)

剩余11页未读，继续阅读

评论收藏

内容反馈

版权申诉

罗伯特之技术屋

粉丝: 3541
资源: 1万+

基于阶梯型特征空间分割与局部注意力机制的行人重识别.docx

基于全局特征和多种局部特征的行人重识别.docx

基于多样化局部注意力网络的行人重识别.docx

基于差分特征注意力机制的无锚框多光谱行人检测算法.docx

基于局部注意力机制的三维牙齿模型分割网络.docx

一文读懂——全局注意力机制（global attention）详解与代码实现

nlp中的Attention注意力机制+Transformer详解

论文研究-基于深度人体语义分割与注意力机制的视频行人再识别 .pdf

基于卷积注意力机制和多损失联合的跨模态行人重识别.docx

相关实用应用程序（Windows可用）

免费可用的ChatGPT网页版.zip

ChatGPT使用总结：150个ChatGPT提示词模板（完整版）

chromedriver-win64.zip

全国计算机二级WPSoffice精选350道选择题题库（含答案）.pdf

民宿网站

桌面聊天室

哈尔滨工业大学-ChatGPT调研报告-2023.3.6-94页.pdf

2023泛娱乐社交出海手册-ZEGO即构科技

4个亲测好用的ChatGPT4渠道

HAI-2024斯坦福AI指数报告（中文译版）.pdf

学术海报模板+论文科研+研究生

北森能力测评题库.zip

chrome-win64.zip

认知智能技术与产业研究报告2023

车载毫米波雷达DOA估计综述博文仿真代码

python大作业 含爬虫、数据可视化、地图、报告、及源码（2016-2021全国各地区粮食产量）.rar

几个可以免费使用ChatGPT4的网站.zip

软件工程课程设计-基于苍穹外卖

最新资源

python大作业含爬虫、数据可视化、地图、报告、及源码（2016-2021全国各地区粮食产量）.rar