[发明专利]用于自然人机交互的多姿态指尖跟踪方法

说明书

本发明公开了一种用于自然人机交互的多姿态指尖跟踪方法，包括以下步骤：S1：采用Kinect2获取RGBD数据，包括深度信息和彩色信息；S2：对手部区域进行检测：通过颜色空间的转换，把色彩转换到对亮度反应不明显的空间进而检测肤色区域，然后通过人脸检测算法检测出人脸，从而排除人脸区域得到手部区域，并求出手部的中心点；S3：通过深度信息，并且结合HOG特征与SVM分类器对特定手势进行识别、检测；S4：通过前几帧指尖的位置，再结合手部识别出来的区域进行一个当前跟踪窗口的预测，然后通过基于深度的指尖检测和基于形态的指尖检测两种模式对指尖进行检测、跟踪。本发明主要处理运动下的、各种姿态下的单一指尖的检测与跟踪，并且需要保证较高的精度和较好的实时性。

技术领域

本发明涉及一种用于自然人机交互的多姿态指尖跟踪方法。

背景技术

人机交互(Human-Computer Interaction,HCI)是研究人与计算机之间通过相互理解的交流与通信，在最大程度上为人们完成信息管理、服务和处理等功能，使计算机真正成为人们工作学习的和谐助手的一门技术科学。3D指尖检测、跟踪技术是人机交互技术的一个重要分支，通过对指尖的形态、特征的描述实现检测与跟踪，实现对其它设备、系统的控制。该技术的最大优点是可以通过非常自然的指尖运动实现交互，例如替代电子笔、控制其它外部设备等。在目前的技术基础上，有通过对手部关节骨骼点进行检测与跟踪从而来进行人机交互、控制的方式，但这种大范围的手部运动存在二个重要缺点，一是会使用户很快感觉到疲劳。二是这种交互方式不够自然，对于一些精细的轨迹不能很好的表达。

对于现有的指尖检测、跟踪交互技术，可以分为在2D平面进行检测、跟踪与3D平面进行检测、跟踪。在2D下的检测多是通过对曲率、凹凸点的检测从而筛选出指尖，这种方式只能检测、跟踪在一定的姿态限定下平移的指尖，对于提取轨迹使用来说并不方便。在3D下的检测有基于高斯混合模型等拟合方式来检测、跟踪指尖，但对手部运动具有一定的局限性。

本发明提出一种基于3D信息的多姿态下的指尖跟踪方法来检测、跟踪用户的指尖从而达成一种自然、有效的人机交互方式.本发明的特点是精度高并且可在各种姿态下跟踪指尖、交互自然还可用来控制一些软件、外设或者提取出轨迹作为“电子笔”来使用等。该系统利用3D摄像头获取RGBD信息即彩色和深度图像，再结合图像的信息来检测、跟踪用户的指尖，从而实现一种很自然的人机交互方式。本发明主要处理运动下的、各种姿态下的单一指尖的检测与跟踪，并且需要保证较高的精度和较好的实时性。

申请号为CN201310407231.X的发明专利也提出了基于深度信息的一种指尖检测方法，其主要的步骤包括手部分割及手心定位、指根定位、指尖检测。它的核心思想是利用手部空间点云的深度图转化为一个图模型，用图模型表征了目标在空间上的表面像素分布，然后以手心为源点通过Dijkstra最短路径算法计算出手心到所有轮廓点的最短路径及其距离然后再定位指尖。与本发明相比首先对于手心的定位，它使用的是OpenNI的库函数，而本发明不依赖于库函数，适用范围更广。其次核心的检测算法也是不一样的。从性能上来说，他们提出的算法在指尖、手掌平面不与镜头平面平行时精度不是很高，本发明则没有此问题并且本发明“手掌平面”可变换的范围比他们更广。

申请号为CN201310118060.9的发明专利公开了一种基于Kinect的视频人手指尖定位方法。此发明也提出了一种单指尖跟踪算法，他也分为两种模式“最远模式”和“最前模式”，对于“最远模式”(相似于本文的基于形态的检测模式)它是以手臂点为比较点，找手部区域相对于手臂点最远点作为指尖点，而本发明是使用PCA寻找待选点，再通过上一帧进行指尖点的选取。对于模式的切换，他所采用的是基于掌心与指尖的连线与手臂点与掌心的连线的夹角作为切换条件，这会对手部的运动范围产生限制，并且在很多情况下并不符合这种转换模式的假设。而本发明所使用掌心的深度与极坐标下的长度所拟合出的函数则不会产生此问题。