基于深度机器学习的体态与手势感知计算关键技术研究

本文面向体态和手势这两种常见的感知通道，系统地研究其中的问题挑战及其解决方法。 随着人们对于姿态恢复和手势识别的精确性和易用性越来越高的要求，缺乏先验知 识表示、准确率与时延折中、标定过程繁琐以及有标数据不足等关键问题与挑战交错叠 加。首先，一些人类熟知的有助于解决感知问题的先验知识难以直接嵌入在基于深度机 器学习的端到端的感知计算方法中，其次，现有的基于肌电信号的手势识别方法难以同 时做到高准确率和低时延，再次，现有的基于肌电信号的手势识别方法通常需要用户在 每次佩戴设备后先进行严格的标定;最后，现有的基于肌电信号的手势识别方法依赖于 大量的具有手势标签的训练数据，然而这些有标记的训练数据通常难以获得。本文重点 面向上述问题和挑战，在深度机器学习框架下设计针对性的解决方法，主要创新点包括 (1)针对基于无标记单目相机的体态感知中缺乏先验知识表示的问题，提出了一种新的 先验知识的表示方式- 一高度图一一用于从单目相机拍摄的视频中精确地恢复三维 人体姿态。在此基础上， 提出使用双流深度卷积网络融合彩色图像和高度图两种输入 信息来估计二维人体姿态，充分利用了人体各部位的高度这一先验信息来