基于图的骨架运动表示与相似度测量用于动作识别的研究,涉及到3D人体动作识别领域,具体来讲,是通过构建一个低层的骨架运动表示,来更好地捕捉关节的时空运动特性,并且通过图结构来表示视频内容,提出了一种新的图核方法来测量图之间的相似性,并将其作为支持向量机(SVM)的核函数来分类视频。
在这篇文章中,作者提到了现有的基于骨架的动作识别方法在捕获关节的时空特性方面不够有效,且对于深度传感器的噪声和关节估计误差不够鲁棒。为了解决这一问题,作者提出了一种新的表示方法,即通过跟踪每个关节的轨迹,并将其分割为若干个具有语义的部分,这些部分被称为“motionlets”。在这个过程中,通过轨迹拟合、采样和分割降低了噪声的干扰。然后,作者构建了一个无向完全标记图来表示视频,这是通过结合这些motionlets及其时空相关性来完成的。此外,提出了一种新的图核——子图模式图核(SPGK),用于测量图之间的相似性。将SPGK直接作为SVM的核函数来分类视频。
为了验证所提出方法的有效性,作者在多个公共数据集上进行了一系列实验,其方法与当前最先进的方法相比,取得了相当的性能。
文章的介绍部分提到,随着Microsoft Kinect和Asus Xtion PROLIVE等深度传感器的发展,越来越多的研究者开始关注3D动作识别。人体可以被视为一个由刚性部分通过关节连接而成的关节系统,在三维空间中,人体动作可以被视为人体骨架关节运动的组合。因此,人体骨架关节的运动对于动作识别是有效的,这一点在Johansson早期的工作中也有建议。
在这篇研究论文中,作者使用图结构来表示动作,通过骨架关节的动态变化来捕获动作的特征,并通过构建图的方式来表达这些动态特征之间的关系。图核技术允许研究人员度量和比较图结构之间的相似性,这在处理具有复杂关系和结构的数据时尤其有用。例如,在动作识别中,图可以代表人体骨架的配置,并且骨架关节之间的关系可以表达为图中的边。
作者特别提出了一种新的图核方法SPGK,用于计算图之间的相似度。这种方法不同于传统的图核,它在度量图相似性时可以识别并利用图中具有语义的部分。由于动作识别任务通常涉及到视频数据,而视频数据是由一系列帧组成的,因此将视频分解为更小的、有意义的部分(如文中所述的motionlets)可以更精确地描述动作的细节。
在骨架动作识别中,一个关键的挑战是如何准确地表示和测量时间序列数据中的动作。骨架运动数据本质上是随时间变化的,因此动作识别系统需要能够处理这种变化性。本文提到的通过轨迹拟合、采样和分割来降低噪声的干扰,这可以增加动作表示的鲁棒性,并允许系统专注于更重要的动作模式,而非随机噪声。
这篇文章强调了图结构在动作识别中的潜力,并提出了一种创新的方法来表示和比较动作。通过结合骨架运动的时空信息,以及图核方法在表示和分类上的优势,作者成功地开发了一种新的低层骨架运动表示方法,并通过实验验证了其方法在实际动作识别任务中的有效性。这些进展可能会对未来动作识别研究产生重要的影响,为复杂动作的理解和分析提供了新的途径。