[发明专利]一种基于Kinect传感器的双手跟踪方法与装置

说明书

技术领域

本发明涉及人机交互领域中手势识别和双手跟踪，尤其涉一种基于Kinect传感器的双手跟踪方法与装置。

背景技术

随着计算机技术的迅猛发展和人们科技观念的进步，用户对计算机的感知能力提出了越来越高的要求。传统的人机交互模式主要依赖于物理键盘和鼠标，其比较单一的以文本为主的输入方式已经不能满足人们的需求，而更注重“以人为本”的新型人机交互方式打破了传统模式的束缚，把输入方式转变成图像和声音等更加丰富自然的形式，大大改善了用户的体验。近年来人们在人脸识别、语音识别、人体姿态识别、手势识别等研究领域都取得了长足的进步。

手势在人们的生活中扮演着极其重要的角色，基于计算机视觉的手势识别是实现新一代人机交互所不可或缺的一项关键技术。手势识别中的关键和大多数难点都存在于人手的跟踪部分。其面临的主要挑战有：一、复杂背景的干扰，如人脸和别的类肤色背景；二、手在运动过程中会发生形变；三、光照的变化对手的外观影响很大；四、系统运行实时性的要求。

目前手势识别技术大多是针对单手情况，所用的定位跟踪方法有：Camshift（Continuously Adaptive Mean-SHIFT）算法,特征空间匹配法等。这些已有的方法只是在特定的条件下取得不错的效果。双手的跟踪和识别相比于单手又有新的特点和挑战，如在双手发生相互遮挡之后如何准确分辨和跟踪双手。现有技术中有的做法是限制两只手在遮挡前后形状不变，双手遮挡分开后，利用遮挡前的双手形状信息进行识别。但这种方法对人手限制较大，不够自然方便。微软公司的Kinect为手势跟踪和识别提供了很大的便利，它提供的深度信息大大简化了背景去除步骤。现有技术中有利用Kinect提供的深度图像和彩色图像建立双手的3D模型并进行跟踪的方法，可准确定位到双手关节等细节信息，但这种方法计算复杂度非常高，即便在使用GPU（Graphic Processing Unit）加速的情况下也不能达到实时跟踪。因Kinect本身带有提取和跟踪人体骨架的功能，故现有技术中也有用在骨架上寻找手部节点的方法提取手部位置从而跟踪人手，但这种方法要求用户的姿态是标准的坐姿或者站姿，对用户姿势限制太多，且识别和追踪效果不够理想。

发明内容

本发明所要解决的技术问题是：克服前述现有技术的缺陷，提供一种可以处理复杂背景和不同光照情况且对人手姿态限制很少的基于Kinect传感器的双手跟踪方法，包括：

S1视频采集步骤，从Kinect传感器获取分辨率和帧率都相同的彩色视频流和深度视频流；

S2检测步骤一，从所获取的彩色视频流和深度视频流的图像中检测第一只做起始手势的手；

S3单手跟踪步骤，利用前一帧或两帧以上图像中第一只手的位置信息和尺寸信息对第一只手进行定位和跟踪；

S4检测步骤二，利用第一只手的位置信息和尺寸信息检测第二只手；

S5双手跟踪步骤，对已经检测到的双手进行跟踪。

根据实施例，本发明还可采用以下优选的技术方案：

所述步骤S2中进一步包括：S2-1样本训练步骤；S2-2模式选择步骤；S2-3起始手势判定步骤。

所述步骤S2-1中，选用SVM分类器（Support Vector Machine）学习和训练手部的形态学信息，选取几何不变矩作为训练特征。

所述步骤S2-2中，当光线适当时，选用肤色模式，即用肤色滤波结合深度滤波的方法提取第一只手；当光线太暗或太亮时，选用形状模式，即用深度滤波结合形状滤波的方法提取第一只手。

所述步骤S2-3中，起始手势定义为：手向前伸出且距离身体在阈值d以上。

所述步骤S3中的定位是：利用已得到的前一帧或两帧以上图像中第一只手的位置及其外接矩形预测当前帧图像中第一只手的ROI（Region Of Interest），在此ROI内做深度滤波以定位当前帧图像中第一只手的位置。

所述步骤S5中的双手跟踪包括：

1）双手在相互遮挡之前的分离状态时，对两个目标进行分别跟踪，即根据前一帧或两帧以上图像中两只手的位置和尺寸信息分别预测当前帧图像两目标各自的ROI，并在这两个区域内分别检测；

2）双手在相互遮挡状态时，检测到的两个目标轨迹重合，视为对同一目标进行跟踪；

3）双手在相互遮挡后分开时，根据遮挡前后双手在深度方向上位置关系的不变性辨别双手，并分别跟踪。

本发明还提供一种基于Kinect的双手跟踪装置，包括如下模块：