Robert Walter手部提取代码

一般情况下,手势识别的第一步就是先手势定位,即手势所在部位的提取。本文是基于kinect来提取手势识别的，即先通过kinect找出人体的轮廓，然后定位轮廓中与手部有关的点，在该点的周围提取出满足一定要求的区域，对该区域进行滤波后得到的区域就是手部了。然后利用凸包和凹陷的数学几何方法，画出手指和手指凹陷处的点，以及手的轮廓线，并在图像中显示出来。文章所有代码都是网友Robert Walter提供的。

OpenNI自带的类实现手部跟踪

本文主要介绍使用OpenNI中的HandsGenerator来完成对人体手部的跟踪，在前面的文章Kinect+OpenNI学习笔记之5(使用OpenNI自带的类进行简单手势识别)中已经介绍过使用GestureGenerator这个类来完成对几个简单手势的识别，这次介绍的手部跟踪是在上面简单手势识别的结果上开始跟踪的，这是OpenNI的优点，微软的SDK据说是不能单独对手部进行跟踪，因为使用MS的SDK需要检测站立人体的骨骼，然后找出节点再进行跟踪，不懂最新版本的是否支持这个功能。而此节讲的OpenNI完成手部的跟踪就不要求人必须处于站立姿势。 　　开发环境：QtCreator2.5.1+OpenNI1.5.4.0+Qt4.8.2

获取人体骨架并在Qt中显示

MS的kinec SDK和OpenNI都提供了人体骨骼跟踪的算法，人体骨骼跟踪算法在kinect人体行为识别中非常重要，该识别过程通常被用来作为行为识别的第一步，比如说，通过定位人体中的骨骼支架，可以提取出人手的部位，从而可以把手的部分单独拿出来分析，这样就达到了手势的定位，而后面的手势识别则可以在刚刚定位出的领域进行处理。总而言之，一套有效的人体骨架追踪算法在kinect的一系列应用中非常有用，不过MS SDK和OpenNI虽然都提供了该算法类的直调用，但是其源码并没有开放，毕竟这是人家最核心的东东。 　　开发环境：QtCreator2.5.1+OpenNI1.5.4.0+Qt4.8.2

使用OpenNI自带的类进行简单手势识别

因为OpenNI可以获取到kinect的深度信息，而深度信息在手势识别中有很大用处，因此本文就来使用OpenNI自带的类来做简单的手势识别。识别的动作为4种，挥手，手移动，举手，往前推手。通过后面的实验可以发现，其实提供的类的效果非常不好。 　　开发环境：QtCreator2.5.1+OpenNI1.5.4.0+Qt4.8.2+OpenCV2.4.2

OpenNI获取的图像结合OpenCV显示

本文来结合下opencv的highgui功能显示kinect采集得来的颜色图和深度图。本来在opencv中自带了VideoCapture类的，使用该类可以直接驱动kinect设备，具体的可以参考下面的文章：http://blog.csdn.net/moc062066/article/details/6949910，也可以参考opencv提供的官方文档：http://docs.opencv.org/doc/user_guide/ug_highgui.html。这种方法用起来非常简单，不需要考虑OpenNI的驱动过程，有点像傻瓜式的操作。不过本人在使用该种方法时kinect一直驱动不成功，即使用opencv的VideoCapture类来捕捉Kinect设备的数据，一直是打不开的，即驱动不成功。但是kinect设备已经连接上了，且能运行openni中的sample，说明kinect的硬件驱动是没问题的，应该是opencv这个类的bug，网上很多人都碰到了该情况。 　　所以还是使用前面2篇博文介绍的，自己用OpenNI写驱动，这样可以更深刻的对OpenNI这个库灵活运用。

获取kinect的数据并在Qt中显示的类的设计

COpenNI这个类主要是初始化kinect设备，并获取深度图像和颜色图像，参加上一篇博客的初始化过程步骤，如果遇到错误，则有相应的错误处理过程。CKinectReader类是将COpenNI这个类读取到的结果显示在Qt的界面上的。因此一个类是负责与硬件Kinect打交道，一个类是负责与人（界面显示）打交道的。具体的过程见上篇文章的分析和后面的代码。

Kinect+OpenNI获取深度图和颜色图

网上有不少使用Qt做界面，OpenNI为库来开发kinect。或许大家的第一个问题就是询问该怎样使用Kinect来获取颜色信息图和深度信息图呢？这一节就是简单来回答这个问题的。 使用OpenNI读取颜色图和深度图的步骤如下（这个是程序的核心部分）： 　　1. 定义一个Context对象，并 调用该对象的Init()方法来进行初始化。 　　2. 定义一个XnMapOutputMode格式对象，设置好分图像分辨率和帧率。 　　3. 定义颜色图和深度图的节点对象，并用其Create()方法来创建，参数为Context对象. 　　4. 设置颜色和深度图的输出模式，调用的方法是SetMapOutputMode();参数为步骤2中定义和设置好了的XnMapOutputMode对象。 　　6. 如果深度图和颜色图在一张图上显示，则必须对深度图像进行校正，校正的方法是调用深度图的如下方法：.GetAlternativeViewPointCap().SetViewPoint(); 　　7. 调用context对象的StartGeneratingAll()来开启设备读取数据开关。 　　8. 调用context对象的更新数据方法，比如WaitAndupdateAll()方法。 　　9. 定义颜色图和色彩图的ImageMetaData对象，并利用对应的节点对象的方法GetMetaData()，将获取到的数据保存到对应的ImageMetaData对象中。 　　10. 如果需要将深度图转换成灰度图来显示，则需要自己将深度值转换成0~255的单通道或者多通道数据，然后直接用来显示。

简易音乐播放器

　这一节实现一个简易的音乐播放器，其音乐播放的核心功能是采用Qt支持的Phonon框架，该框架在前一篇博文Qt学习之路_13(简易俄罗斯方块) 中已经使用过了，在俄罗斯方块中主要是用来设置背景音乐和消行的声音的。这里用这个框架同样是用来播放，暂停等多媒体的各种控制功能，另外该框架可以自动获取音频文件的一些信息，这样我们在设计播放列表时可以获取这些信息，比如歌手名，专辑名，时长，文件名等等。程序中桌面歌词的实现是继承了QLabel类，然后使用3层文本显示，最上面一层采用渐进显示的方式来达到歌词播放的动态效果。

简易音乐播放器.

这一节实现一个简易的音乐播放器，其音乐播放的核心功能是采用Qt支持的Phonon框架，该框架在前一篇博文Qt学习之路_13(简易俄罗斯方块) 中已经使用过了，在俄罗斯方块中主要是用来设置背景音乐和消行的声音的。这里用这个框架同样是用来播放，暂停等多媒体的各种控制功能，另外该框架可以自动获取音频文件的一些信息，这样我们在设计播放列表时可以获取这些信息，比如歌手名，专辑名，时长，文件名等等。程序中桌面歌词的实现是继承了QLabel类，然后使用3层文本显示，最上面一层采用渐进显示的方式来达到歌词播放的动态效果。 开发环境：WindowsXP+Qt4.8.2+QtCreator2.5.1

简易俄罗斯方块

这一节主要学习在Qt中怎样使用图形视图框架，实验完成的是一个简易的俄罗斯方块游戏，有了图形视图框架的支持，该游戏的设计变得非常简单，不需要考虑很多复杂的算法，比如说方块的碰撞检测，旋转，视图的设计等。从本实验中可以学到2D图形的绘制，游戏的逻辑设计，图形视图的应用，动画设置，背景音乐的添加，Phonon框架的应用等知识