基于三维图卷积与注意力增强的行为识别模型.docx
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
基于三维图卷积与注意力增强的行为识别模型 本文主要介绍了一种基于三维图卷积与注意力增强的行为识别模型,以解决当前骨架行为识别领域中的不足之处。该模型首先介绍了三维卷积与图卷积的工作原理,然后基于图卷积中可处理变长邻居节点的图卷积核,引入三维卷积的三维采样空间,将二维图卷积核改进为具有三维采样空间的图卷积核。然后,为增强对于特定关节的关注,聚焦重要的动作信息,设计了一种注意力增强结构。最后,结合三维图卷积与注意力增强结构,构建了基于三维图卷积与注意力增强的行为识别模型,并基于 NTU-RGBD 和 MSR Action 3D 骨架动作数据集开展了骨架行为识别的研究。 一、骨架行为识别的研究背景 骨架行为识别是机器视觉领域的热点研究方向之一,其可实现计算机准确识别目标对象的动作,进而分析视频中人体的动作,提高了计算机的动态感知能力。骨架行为识别技术广泛应用于视频监控、视频理解等领域。 二、基于卷积神经网络的骨架行为识别方法 基于卷积神经网络的骨架行为识别方法主要有两类:一类是基于三维卷积神经网络的方法,另一类是基于图卷积神经网络的方法。基于三维卷积神经网络的方法可以实现时空信息的提取,但是无法直接针对具有非欧式空间数据的三维骨架序列进行时空信息的提取。基于图卷积神经网络的方法可以提取空间信息,但是时空信息依赖图卷积与 LSTM(或时间卷积)分别进行提取,且未考虑空间与时间信息间的关联性。 三、基于三维图卷积与注意力增强的行为识别模型 本文提出了一种基于三维图卷积与注意力增强的行为识别模型,以解决当前骨架行为识别领域中的不足之处。该模型首先介绍了三维卷积与图卷积的工作原理,然后基于图卷积中可处理变长邻居节点的图卷积核,引入三维卷积的三维采样空间,将二维图卷积核改进为具有三维采样空间的图卷积核。然后,为增强对于特定关节的关注,聚焦重要的动作信息,设计了一种注意力增强结构。最后,结合三维图卷积与注意力增强结构,构建了基于三维图卷积与注意力增强的行为识别模型。 四、三维卷积与图卷积的工作原理 三维卷积的工作原理是将多个连续帧中相同位置的采样区域进行堆叠,生成多维数据,然后通过三维卷积核将多维数据进行卷积操作,实现了对三维采样空间的卷积操作。图卷积的工作原理是将邻居节点的隐藏状态进行加权求和,以此来聚合邻居节点的信息,实现了图结构数据的卷积操作。 五、实验结果 基于 NTU-RGBD 和 MSR Action 3D 骨架动作数据集开展了骨架行为识别的研究,实验结果进一步验证了本文提出的行为识别模型的时空信息的有效提取能力及优秀的识别准确率。 本文提出了一种基于三维图卷积与注意力增强的行为识别模型,以解决当前骨架行为识别领域中的不足之处。该模型可以实现时空信息的提取,且能保留空间与时间信息间的关联性。实验结果表明了该模型的时空信息的有效提取能力及优秀的识别准确率。
剩余11页未读,继续阅读
- 粉丝: 3907
- 资源: 1万+
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助