[发明专利]一种基于三维K曲率的指尖检测方法

说明书

本发明公开了一种基于三维K曲率的指尖检测方法，该方法分为两步，第一步：基于点云颜色区域增长提取手部区域。首先对RGB‑D传感器获取的点云数据进行滤波，然后对其做颜色的区域增长分割，最后采取肤色检测算法获取手部区域的点云数据。第二步：基于三维K曲率算法提取指尖点。在获取手部区域后，对手部点云进行滤波以剔除一些空间离散点，然后利用K曲率算法的思想去处理点云数据，确定指尖候选点，对其指尖候选点聚类，得到指尖点。利用本发明的方法，可以在数字1、2、3、4、5等几种常见手势情况下，在不同位置，不同背景，不同光照环境下，很好地检测出指尖点。本发明的方法与实际指尖点的距离误差仅为5mm左右，具有较好的精确性、鲁棒性。

技术领域

本发明涉及一种基于三维K曲率算法的指尖检测方法，属于机器视觉技术领域。

背景技术

随着计算机视觉的发展，基于视觉的指尖检测方法已成为人机交互领域的研究热点。在基于视觉的指尖检测，前人已经做了大量的研究工作，然而以前的许多算法只专注于提取二维的指尖并且在手指移动的情况下不能稳定的检测出指尖点。在传统的指尖检测过程中，最常见的方法就是对彩色图像进行肤色检测，但此方法则过于受到光照强度和类肤色背景的影响。随着2010年微软推出Kinect以及其他种类带有深度信息相机的普及，越来越多的研究者通过利用带有深度信息的摄像机对手势和指尖点进行研究。深度信息可以很有效的把场景划分为几个区域，并滤除掉一些区域，即使这些区域有一些相同的特征，如：颜色，轮廓，形状等。Kinect是一种结合RGB摄像头和深度摄像头的相机，它能够获取点云来模拟三维数据。这使得在未知的复杂环境中，人类活动和物体识别变得更加容易。三维手部识别和跟踪也得到了广泛的研究，并应用于不同领域，如：活动识别、手势识别、机器人控制、增强现实等。

对于三维指尖点检测问题，国内外已经有不少专家学者在这方面做了研究。Jahangirnagar Univ.,Dhaka等人利用Kinect的深度图像信息以及基于像素分类的方法进行指尖点检测，并对手势抓取和释放进行识别，平均识别率达到96.96％，但其并未对弯曲指尖点的检测进行研究。Marek Vaneo,Ivan Minarik等人通过基于Kinect深度信息和骨骼信息相结合，利用K曲率算法检测手指指尖点，平均识别率为93％，但其太依赖于骨骼节点，需要Kinect拍摄到整个人体的骨骼框架才能定位手部，在实际应用中，十分不方便。以上方法都只是处理深度图像信息，并未模拟出三维数据。C.M.Mateo,P.Gil等人通过Kinect的深度、彩色信息合成点云，模拟场景的三维数据，并通过肤色检测方法获取人体肤色区域集合，并随后对每个区域计算凸点，通过凸点的个数判定手部区域，并把凸点的最大轮廓的中心作为掌心点，通过掌心点到凸点的距离来判定指尖点。但是，此方法指尖点的判定太过依赖于掌心点的位置。而本发明能够很好地解决上面的问题。

发明内容

本发明目的在于针对上述现有技术的不足，提出了一种基于三维K曲率的指尖检测方法，该方法主要解决了现有技术中太过于依赖骨骼节点和掌心点位置等问题。该方法以三维点云图像为基础，首先对Kinect获取的点云数据进行滤波，然后基于颜色的区域增长对其分割，得到若干区域，然后用肤色检测的方法获取手部区域的点云数据，然后对手部的点云进行滤波以剔除一些空间离散点，再利用K曲率算法的思想去处理点云数据，即人手指尖点到一定距离的手部点的最大夹角小于一定阈值，然后通过确定一个阈值得到指尖候选点，对其指尖候选点聚类，最终得到指尖点，从而实现指尖点的检测。

本发明解决其技术问题所采取的技术方案是：本发明提出一种基于三维K曲率算法的指尖检测方法，该方法包括如下步骤：

S1，通过RGBD摄像装置采集包含人手的三维点云图像

该步骤中利用由微软发布的Kinect传感器结合点云库PCL(Point CloudLibrary)和OpenNi获取包含人手的点云数据。

S2，对点云图像进行直通滤波剔除部分非手部点云