论文研究-基于局部匹配窗口的动作识别方法 .pdf

所需积分/C币:8 2019-08-16 1.65MB .PDF
评分

基于局部匹配窗口的动作识别方法,王鑫,沃波海,本文在传统的词袋模型基础上,综合考虑姿态之间的时序约束关系,提出了一类基于局部匹配窗口的动作识别方法。本文参考背景相减技��
国武技论文在线 动作特征表达 {口□ 第3步:姿态特征表达 片段特征表达 态一●●●特征组 特征直图表示 第2步:通过特征集合F 重构姿态p 片段划分●○●●o●● E aEk illn ∑ 码 骨架图像序列 人 特征提取 特征集合;F=U}=1.M 1第1步:我到姿 影 态p的K近邻 深度图像序列 J=二二二二二二二1 (a)基于局韶窗口匹配的动作识别流程图 b)特征重构过程 图特征编码的过程 训练词汇表 绝大多数研究工作在进行关键特征学习时,把整个训练动作集所有样本作为训练对象,用K 均值聚类等学习方法对其进行训练,从中训练出整个样本集的关键特征集合。而本文在实验 过程中发现,用上述整体训练法得到的关键特征集合并不能有效表达整个训练集。究其原因, 整体训练法弱化了动作之间的差别,使得训练得到的特征词汇衣缺乏判别动作的鉴别性。为 了训练得到极具鉴别性的关键特征集合,本文使用局部训练法,通过单独对每个动作样本集 训练特征词汇,从而得到覆盖整个动作训练集的特征词汇表。 图2展小」在 MSR Action3D数据库上分别用整体训练法和局部训练法映射得到的动作 特征直方图分布图。从图中可以看出用整体训练法时,训练集映射到特征词汇表所得到的特 征分布差异性较小,比如拍手、胸前挥手和走路三个动作,各个直方图的分量差别不人。这 说明动作之间的特征差别不大,从而会对接下来的识别阶段造成很大的干扰。而使用局部训 练法,训练集映射到码本后的差异性将显著增大。从图1可以看出,有80%以上的训练集动 作姿态映射到该动作学习得到的特征集合上,从而显著增加了动作之间特征表达的差异性。 国武技论文在线 拍手 胸前挥手 走路 ===========t 拍手动作直方图分布 同前浑手动作直方图分市 走蚤动作直方图分布 整体训练 频 频 f, f f, ff fe If f fun fe.. f.f. tl2 busts f,g fg Io f+..fml fn 特征集合 特在集含 特征集合 拍手动作直方图分布 胸前挥手动作直方图分布 走路动作直方图分布 单独 训练 1lf; Ig fe if I, fsft…f1fm ft f2 fs fa fs f f, fe fs fio fi.. fm-i fm frh, a r fe t, ta fu,a fliM I 特征集合 寺征集合 持征集言 图单独训练与整体训练的效果对比 自适应重构映射 特征码本得到后,本文将对每一个姿态描述子进行量化编码。令P为从动作序列中获得 的姿态特征描述子,每个特征描述子的维度为D,总共有N个特征,则 P=1,P,…,D1]∈9。令训练得到的码本有M个码子,即 F=Lf 这里不同的重构策略将会产生不同的重构结果。本文首先介绍两种广泛使用的重构映射 策咯,然后介绍下自己的自适应重构映射策略。传统的词袋模型通常使用矢量量化方法来进 行嵌入映射。每个特征描述了映射到与它最接近的那个码了。如: g min p 这里ci,j表示姿态描述子pi映射到特征码本后的码字。这样的硬编码虽然简单忺速, 但存在着许多不足,尤其对码本的失真错误非常敏感。Yang等人提出的稀疏编码,通过 引入11范式的稀疏正则化项,显著提高了鲁棒性 rg min|p,-f+4lc.,∈9 国武技论文在线 尽管桸疏编码的方式提髙了稳定性,但是计算量非常大,运行速度慢。此外,由于码本 的过完备性,相似的描述了在稀编码下会产生不同的码了组合。在表示相似的局部特征时, 这将导致较大的偏差性。ⅶu等人对稀疏编码进行∫改进,提出∫局韶坐标编码( Local Coordinate〔 oding,LCC)。他们指岀在特定假设下局部性是比稀疏性史加本质的特性。本 文参考LCC编码,设计了一种新的编码方式 arg min p;-Fel+ a d, dl c∈ 这里囗表示元素间相乘,di是局部适配因子,它是根据输入姿态pi与码本中各码子间 的相似性来赋值,可以看做特征基的杈值。di的选取首先要满足相似距离越 wM aW 权值 Wk- Wk distMin did 相似距离 图权值与相似亞离关系 近权值越人。本文选取di为非线性的表达式,同时引入了最近相似距离 distmin作为 比较对象。 ((dist(p,, F)-distMin), distMin exp(一 这里dist(pi,F)=[dist(pi,f1),dist(pi,f2),…,dist(pi,fM)],dist(pi,fj)表示 pi和fj之间的欧拉距离。 distmin=min{dist(pi,f1),dist(pi,f2),…,dist(pi,fM)}。 图3显示了相似距离与权值的对应关系。由于高斯函数非线性的特性,当dist(pi,r)与 distMin非常接近时,di的值接近于dmax,当dist(pi,F)大于 distmin的三倍时,di的值 将趋近于0。这为本文自适应的选取pi的局部邻域提供了解决方案 国武技论文在线 局部窗口匹配 传统的词袋模型把整个对象看做一个整体,用特征映射的方式得到特征直方图,通过对 比两个对象直方图的相似性来判别对象。这种匹配方式具有简单快速的优点,但是直方图得 到的是特征集的统计信息,忽略了时间和空间上的约束。这会导致相似动作的误匹配。在进 行动作识別过程中,本文将整个姿态作为一个特征词汇,增加了每帧图像空间上的约束。同 时,本文将整个动作序列划分成多个片段,在片段内计算特征集合的直方图分布,从而增加 了时间上的约束。 本文使用了两种不同的划分策略,分别是基于吋间金宇塔的局部匹配模型( locality windows matching based on temporal pyramid,mP-lWM)和基于滑动窗∏的局部匹配模型 (locality windows matching based on sliding window, SW-LWM) 基于 的特征匹配 在图像内容分类领域, Grauman[1等人对传统的词袋模型进行了改进,提出了金宇塔 匹配核。金字塔匹配核的核心思想是在不冋分辨率卜计算两个对象对应特征点的匹配情况。 在任意固定分辨率卜的对应窗口下,两个对象对应相同特征点的个数作为匹配特征点的个 数。同时,规定在精细分辨率下得到的匹配对的权值大于在粗糙分辨率下得到的匹配对。 般假定图像分为1,…,L层,第1层包含21-1个单元,总共有T=21-1n个单元。令H和H1 分别代表对象p和q在第1层分辨率下的直方图分布。这里,H()和H()表示对象p和 q拥有第i个码」的个数。 国武技论文在线 动作序列 直方图 小、 第 层 R平个 第 层 图基于时空佥子塔的动作序列特征表达 因此在第1层分辨率下对象p和q的特征匹配对可以用直方图相交操作来亢成 A=I(H,H1)-r(H4-1,H-) 同时对第1层得到的匹配点赋予权重,那么对象p和q在佥宁塔匹配下的相似度为 1)+∑K=nI(B,H2)+∑。r(,) 2 Lazebnik3在此基础上提出了空间金字塔匹配算法。该方法对图像进行划分,并在每 个子区域内运用金字塔匹配核计算特征匹配点的个数。受此启发,木文采用时间金宇塔匹 的方法来进行动作识别。如图4所示,本文将整个动作序列划分成不同层的动作片段,并分 别对每个动作片段计算特征直方图。一般的,假定训练集中有n种动作,每个动作用聚类方 法学习得到m个特征码字,那么整个特征码本集有M-nm个特征码字。对于动作片段中的每 一个姿态,本文将其映射到训练得到的M个离散的特征码字中,得到一个M牟的特征向量表 国武技论文在线 达。假定整个动作总共划分为L层,则第层的特征表达维度为M,第二层的特征表达维度 为2M,第L层的特征维度为2L-1M。如果用个长向量把所有动作片段的特征衣达串联起来 则整个动作序列的特征维度为∑2=(21-1)∥。最后在动作之间相似度比较时,本文 对动作的特征表达进行归一化,并用金字塔匹配核进行计算。 基于 的特征匹配 滑动窗凵技术较早用于网络中流量的控制,它也成功地应用于图像关键信息的定位。 在实际操作中,它把图像定位的任务转化为局部检测,在相继的图像了区域中运用分类器进 行定位。·般·幅n的图片会产生n的图像了区域,这会产生巨大的计算量。本文并非在 每帧深度图內运用滑动窗∏技术进行匹配,而是把整幅图像作为·个单元,在吋间维度上运 用滑动窗口技术。这样即避免增加大量的计算量,又增加了时间上的约束。 假设训练集中学习得到的特征码木个数为M,每个动作序列经处理后包含n帧深度图像。 同时假定滑动窗口的尺寸为w,每次移动步长为1,则表小整个动作的特征向量的维度为 +1 时刻t1 动 作 时刻t2 列 mmmmmmmmmmmm 图基于滑动窗口的动作识别方法 测试阶段 为验证木文所提的两种基于局部匹配窗口的动作识别方法,木文在数据库 MSR ACtion 3D上测试了两种方法的性能。按照文献[15]的设置,木文将数据库中的20个动作分成3个 动作子集,每个子集包含8种不同的动作(见表1)。在测试1中,1/3的样本作为训练集, 其余的作为测试集。在测试2中,2/3的样本作为训练集,其余的作为测试集。在测试3中, 一半对象的动作样例作为训练集,另一半对象的动作样例作为测试集。 国武技论文在线 表1 MSR Action3D数据库中的三个动作子集 动作集()动作集() 动作集() 胸前挥手 扬起手臂挥手 向上扔 敲打 摘 前踢 挥拳 画叉 侧踢 上扔 画勾 慢跑 拍手 画圈 挥舞网球拍 弯腰 双手挥动 发球 发球 前踢 挥动高尔夫球 捡起投掷 侧面击打 拎起投掷 在局部重构过程的权值选取中,σ越大,权值曲线越屮缓,对应的特征词汇重构权值越 大;σ越小,权值曲线越瘦髙,对应的特征词汇重构权值越小。经实验测试检验,当σ=10.0 最适合姿态的重构 实验结果 基于 的实验结果 在用TP-LM进行动作识别时,所划分的层次越高,匹配效果越好。但是层级的增加也 带来了人量的时间匹配代价。由于 TP-LWM是基于词袋模型,特征词汇表的人小也将影响动 作序列的特征表达,进而景响最后的识别情况。在训练过程中,本文分别对训练集中的每个 动作提取5,10,15个特征词汇,由于每个训练集有8个动作,则特征词汇表大小 M=5×8,10×8,15×8。在实验过程中,金字塔层级分别选取1=1,2,3,4。 表 时 算法在 数据库上的识别结果 测试1测试2测试3测试1测试2测试3测试1测试2测试3 数据 集192.6895.6884.8696.2897.590.7698.4698.2388.96 数据 集288.3692.1775.6892.5294.3681.0690.2495.17 79.86 数据 集396.7297.3492.2398.2394.7192.239.12979495.74 总计92.58 26 6.6188.7995.9497.118.19 表2展小了特征词汇数M-80时, TP-LWM不同层次的算法性能。当L-1时, TP-LWM就 弱化为全局型的词袋模型。从表4-2可以看出,绝大多数情况下,当所划分的层次越细,动 作序列内的时间约束性就越强,动作识别率也就越高。如L-3比L-2的性能有了较人的改薰 国武技论文在线 但是与L=3相比,L=4的识别率并没有很大的改善,在测试3这组测试中,性能反而有所卜 降。这主要是与数据库中动作序列的长度有关。数据库中的很多动作经数据过滤平滑操作后, 往往只有20^35帧。当层次划分过多时,由于局部子窗口过小而导致较少的匹配点对,这会 影响最终的识刿率。冋时随着划分层次的增加,测试序列与训练集中动作模型的直方图相交 操作的计算量也将成指数级上升。L-1时,动作特征表达长度为M;L-2时,动作特征表达 长度为3M;L=n时,动作特征表达长度为(2n-1)M。尽管在划分层次最多时,部分测试组的 性能有所下降,但是L-3在所有测试组的性能均比L2有很人的提高,这体现了局部窗口兀 配性能的优越性。 此外,本文也研究了特征词汇的尺寸大小对算法性能的影响。表6-2展示了在L3层 次下,不同M对算法性能的影响。与Ⅵ=40相比,M=80和M120在所有测试组内的识别率均 有很大的改善,这体现了强特征集合在刻画动作特征的优势。但是并不是特征词汇表越大越 好,相比于M=80,M=120的识别率并没有很大的提升,相反在部分测试组的性能反而有所下 降。由于经过滤波平滑处理, MSR Action3D数据库上的动作序列帧数为 表3L=3时,不同M对TPLM算法性能的影响 =40 M=8 M=120 数据数据数据数指数据数据数据数据数据 集 集2集 集1集2集3集1集2 集 173.28%51.7%8.21%82.43%65.96%90.48%81.26%6.29%89.413% 75.62%612.2%90.17%84.86%75.68%92.285.26%7.:2%90.17% 378.89%692%90.68%90.76%81.36%94.74%91.28%79.26%93.28% 2035之间,M=120意味着每个动作需要15个特征词汇集合。过多的特征词汇会弱化动 作特征的刻画。根据实验,本文得出层次L与特征词汇表尺寸M的选取,跟动作序列的大小 有关。假定数据库动作序列长为n,数据库中总共有t类动作,每类动作选取m个特征词汇 则特征词汇衣尺寸M与划分层次L应满足下列的关系: 2≤亠≤3 <-<3

...展开详情
立即下载 最低0.43元/次 身份认证VIP会员低至7折
举报 举报 收藏 收藏
分享
279KB
论文研究-基于k-means聚类算法的研究 .pdf

基于k-means聚类算法的研究,黄韬,刘胜辉,本文首先分析研究聚类分析方法,对多种聚类分析算法进行分析比较,讨论各自的优点和不足,同时针对原k-means算法的聚类结果受随机��

2019-08-15
428KB
论文研究-基于虚拟化及重定向技术的Android沙箱设计与实现 .pdf

基于虚拟化及重定向技术的Android沙箱设计与实现,崔海娜,张天乐,随着移动设备的普及,移动企业管理(EMM)作为解决企业移动化安全和管理问题的产品应运而生。EMM的移动性管理元素之一--移动内容管�

2019-08-22
240KB
论文研究-基于情感信息收集-抽取架构的文本情感分析网络 .pdf

基于情感信息收集-抽取架构的文本情感分析网络,郭豪,双锴,近些年来,文本的情感分类作为自然语言处理领域的关键任务得到了越来越多的关注,基于深度学习的网络模型在该任务中取得了很大的成�

2019-08-18
269KB
论文研究-基于FPGA的多功能扫频信号源的设计 .pdf

基于FPGA的多功能扫频信号源的设计,刘颢阳,李绍胜,扫频信号源是扫频仪主要功能部件,对其实现方法进行研究有重要意义。本文给出了一种由FPGA与DAC组合的扫频信号源设计方案。信号源��

2019-08-15
942KB
论文研究-基于微信公共平台的小型图书馆管理系统的设计与实现 .pdf

基于微信公共平台的小型图书馆管理系统的设计与实现,许鹏,范春晓,从互联网的思维方式上考虑,结合微信公共号对外提供的接口和服务,综合利用开源的开发框架和新兴的WEB服务技术,设计并实现了基于��

2019-08-17
424KB
论文研究-基于JsSIP实现SIP网页客户端 .pdf

基于JsSIP实现SIP网页客户端,高嵬,孙其博,JsSIP是使用Javascript脚本语言实现的开源SIP协议栈,是目前广泛应用的各种基于SIP协议的Web音视频通信终端的基础库�

2019-08-22
194KB
论文研究-基于WinCE的智能车载仪表的设计 .pdf

基于WinCE的智能车载仪表的设计,韩琨,郝继飞,针对当前汽车仪表的发展趋势,设计了一款基于WinCE操作系统的智能车载仪表。智能车载仪表可以通过CAN总线接受汽车各个部件的ECU的信�

2019-08-20
1.56MB
论文研究-基于深度学习的人脸识别算法研究 .pdf

基于深度学习的人脸识别算法研究,赵学斌,张雷,传统的人脸识别算法主要是基于图像的浅层特征提取,比如LBP、SIFT、HOG等图像特征描述算子,然后进行多种浅层特征融合,PCA降维之后��

2019-08-16
426KB
论文研究-基于Android平台的电子书阅读器的设计与实现 .pdf

基于Android平台的电子书阅读器的设计与实现,赖穆彬,邹仕洪,本文主要阐述了在android平台上十分流行的电子书阅读器的设计与实现,具有智能断章,翻页特效,场景模式切换,阅读字体调节,用户��

2019-08-16
255KB
论文研究-基于CUDA技术的运动估计算法加速 .pdf

基于CUDA技术的运动估计算法加速,刘婷,程荣辉,运动估计模块是数字图像/视频处理中最重要的模块之一,它的处理技术直接决定了图像/视频处理的效果,快速有效的运动估计算法是现�

2019-08-18
305KB
论文研究-基于加权跳数的DV-HOP定位算法 .pdf

基于加权跳数的DV-HOP定位算法,白进京,周先菊,节点定位技术在无线传感器网络中占据至关重要的地位,如何提高定位精度是本文的研究的目的。本文深入分析了DV-Hop(Distance Vector-Hop��

2019-08-21
290KB
论文研究-基于LSTM神经网络的股价短期预测模型 .pdf

基于LSTM神经网络的股价短期预测模型,成烯,钟波,股价预测是时间序列预测领域最具有挑战性的问题,准确预测股价能够帮助投资者降低风险,提高收益。本文应用LSTM神经网络对股价指��

2019-08-14
533KB
论文研究-基于WiFi的环境监测系统设计 .pdf

基于WiFi的环境监测系统设计,李山,,WiFi(Wireless Fidelity)技术具备传输速率高、传播距离远、覆盖范围广等特点,在无线局域网应用中得到了迅猛的发展。本文设计并实现了一�

2019-08-16
473KB
论文研究-基于I-7188的EIB网关的设计与实现 .pdf

基于I-7188的EIB网关的设计与实现,何欣,黄涛,EIB网关对智能家居的集成应用推广具有极其重要的意义。本文通过研究EIB(European Installation Bus)协议及其外部通信机制,提出基于I-7188��

2019-08-16
613KB
论文研究-基于React的前端组件化研究与设计 .pdf

基于React的前端组件化研究与设计,周兴宇,卞佳丽,随着互联网行业的快速发展,Web应用更加庞大和复杂,对用户体验和交互有着越来越高的需求,对前端技术不断提出新的要求。React是一�

2019-08-20
1.67MB
论文研究-基于深度学习的不可见图像隐写术 .pdf

基于深度学习的不可见图像隐写术,董士琪,刘建毅,隐写术和隐写分析是信息安全领域中的一个重要分支——信息隐藏的主要内容,二者在对抗中不断发展进步。近年来已经有大量的工作将��

2019-08-15
256KB
论文研究-基于可信度的不确定性推理的研究与应用 .pdf

基于可信度的不确定性推理的研究与应用,杨阿琴,,本文将基于可信度的不确定性推理其运用到民航机务维修差错预警专家系统中进行研究中,并在Jess推理引擎的基础上,研究了具体的知��

2019-08-16
202KB
论文研究-基于PSO算法的 -SVM算法参数优化 .pdf

基于PSO算法的 -SVM算法参数优化,王洁,白静,在v-SVM算法参数选择中,现多采用反复试验的方法,局限性较大且操作复杂。因此,本文采用了粒子群算法来优化v-SVM中的参数,并将之��

2019-08-16
394KB
论文研究-基于数字图像处理的车牌识别技术的研究 .pdf

基于数字图像处理的车牌识别技术的研究,彭运生,王晨升,车牌识别系统(License Plate Recognition 简称LPR)技术广泛应用于智能交通系统中,一般分为车牌预处理、定位、字符分割和字符识别四个主�

2019-08-20
265KB
论文研究-基于JDBC的数据库访问研究 .pdf

基于JDBC的数据库访问研究,于宁宁,赵宗平,JDBC兼具有强大的数据处理功能,它可以处理各种不同类型的数据源,同时具有极其简单、易用的编程接口,因而得到了广泛的应用。为��

2019-08-15
img

关注 私信 TA的资源

上传资源赚积分,得勋章
相关内容推荐