[发明专利]一种用于智能家居系统的3D动态手势识别方法

说明书

技术领域

本发明涉及计算机视觉、人机交互技术领域，具体涉及一种用于智能家居系统的3D动态手势识别方法。

背景技术

目前网络上有各种手势检测方法。对于不同的方法，各有其优缺点。譬如有的方法检测能到达基本精准，但是检测方法复杂，耗时太久，若只是在一般的个人电脑上很难达到我们想要的实时处理效果。其次，手势的识别方法也是错综复杂，有的识别方法虽错误率低，但要求有预先的训练，而训练过后的数据将会极大占用用户的磁盘空间。

Kinect是微软对Xbox360体感周边外设正式发布的名字，具体是一个摄像机，在本发明中作为视觉传感器。它比一般的摄像头更智能更先进，内置于Kinect里的红外传感器可以通过黑白光谱的方式来感知周边的环境：纯黑色代表无穷远，纯白色代表无穷近，而黑白间的灰色地带对应物体到传感器间的距离。它收集视野范围内的每一点，并形成一幅代表周围环境的景深图像。传感器以每秒30帧的速度生成景深图像流，实时3D地再现周围环境。由于它能够产生深度图像及RGB图像，可以很方便地利用深度信息及其RGB图像信息进行识别，跟踪，定位等。目前对于Kinect在计算机视觉领域内的理论研究以及在实际应用的开发领域都十分热门。

发明内容

本发明的目的在于提供一种用于智能家居系统的3D动态手势识别方法，解决目前所使用的手势检测方法复杂、耗时，对设备要求高，准确率低的问题。

为解决上述的技术问题，本发明采用以下技术方案：一种用于智能家居系统的3D动态手势识别方法，包括以下步骤：

步骤一，与计算机相连接的Kinect摄像头采集到深度图像和RGB图像；

步骤二，对深度图像进行预处理，去掉深度图像中纯白或纯黑的点，再在深度图中找到背景平均深度；

步骤三，在RGB图像中进行人脸检测，使用分类器进行人脸检测，程序自动动态改变搜索精度，在初始时刻以低精度搜索人脸以提高系统实时性，当检测到多个人脸时选择深度最靠前且中心靠近图像中间的人脸区域作为最终确定的人脸区域；若当前精度没有检测到人脸区域，则自动提高精度，重新进行搜索，重复之前步骤直道找到人脸区域；

步骤四，提取人脸深度，在检测到真实的人脸区域后，我们对人脸区域的外接矩形区域R进行处理，在深度图像中找到R区域，去掉其中深度很小或很大的点，对剩下的点求深度平均值作为人脸区域的平均深度df；

步骤五，分离人体手部区域图像，得到人脸区域的平均深度df后，将人脸深度值减小阈值得到深度dh=df-即为手部区域的深度，得到手部区域深度阈值dh后，在深度图像中选出深度小于dh的部分得到子图像P1，在子图像P1对应的RGB图像中进行肤色检测，选取符合人体肤色范围的多块子区域，在这些子区域中寻找联通域面积最大的一块作为手部区域H；

步骤六，寻找手掌区域，在深度图像中找到手部区域H，在H中用固定大小的小矩形框r滑动搜索，每次求出小矩形框的平均深度值，最后选取平均深度值最小的小矩形框r作为手掌区域rh；

步骤七，储存手掌位置信息，在得到手掌区域rh后，储存手掌区域的中心点坐标和平均深度值，给后续识别算法处理。

更进一步的技术方案是，所述步骤六中，得到手掌区域rh后，对其进行手势识别的方法如下：

步骤一，利用手掌区域的各参数计算出人手心的位置坐标，记为x，y，z；

步骤二，对连续几帧的手心坐标位置x，y，z进行记录，对这连续几帧的手心位置取一个加权平均进行平滑，然后记录为现在帧的手心位置；

步骤三，将前后帧手心坐标相减，取X，Y，Z三个阀值进行比较，当手心坐标大于该阀值则认为手势有该方向的变化；

步骤四，当连续几帧的手势变化方向相同则认为手势变化。

更进一步的技术方案是，所述Kinect摄像头的镜头方向和用户所在平面之间的夹角在75-105度范围内。

更进一步的技术方案是，所述Kinect摄像头抓取图像的时间间隔为30毫秒。

与现有技术相比，本发明的有益效果是：将本发明用于智能家居系统的控制中，可以代替传统的开关键盘控制，将人手的动作传递给一个中央系统，让人可以不需起身去各家居产品前进行调节而由计算机代劳，操作方式更加轻松简单；与目前已存在的很多种手势识别方法一样，在该系统中，用户不需要佩戴任何标签。这种方法使用算法简单高效易行，通过使用单个KINECT摄像机，与使用多个摄像头相比，它的处理速度较快，系统响应更加快速，及时，能够满足实时人机交互的要求。

附图说明