[发明专利]一种基于Kinect传感器的双手跟踪方法与装置

权利要求书

1.一种基于Kinect传感器的双手跟踪方法，其特征在于包括：

S1视频采集步骤，从Kinect传感器获取分辨率和帧率都相同的彩色视频流和深度视频流；

S2检测步骤一，从所获取的彩色视频流和深度视频流的图像中检测第一只做起始手势的手；

S3单手跟踪步骤，利用前一帧或两帧以上图像中第一只手的位置信息和尺寸信息对第一只手进行定位和跟踪；

S4检测步骤二，利用第一只手的位置信息和尺寸信息检测第二只手；

S5双手跟踪步骤，对已经检测到的双手进行跟踪。

2.如权利要求1所述的基于Kinect传感器的双手跟踪方法，其特征在于所述步骤S2中进一步包括：

S2-1样本训练步骤；

S2-2模式选择步骤；

S2-3起始手势判定步骤。

3.如权利要求2所述的基于Kinect传感器的双手跟踪方法，其特征在于：所述步骤S2-1中，选用SVM分类器（Support Vector Machine）学习和训练手部的形态学信息，选取几何不变矩作为训练特征。

4.如权利要求2所述的基于Kinect传感器的双手跟踪方法，其特征在于：所述步骤S2-2中，当光线适当时，选用肤色模式，即用肤色滤波结合深度滤波的方法提取第一只手；当光线太暗或太亮时，选用形状模式，即用深度滤波结合形状滤波的方法提取第一只手。

5.如权利要求2所述的基于Kinect传感器的双手跟踪方法，其特征在于：所述步骤S2-3中，起始手势定义为：手向前伸出且距离身体在阈值d以上。

6.如权利要求1所述的基于Kinect传感器的双手跟踪方法，其特征在于，所述步骤S3中的定位是：利用已得到的前一帧或两帧以上图像中第一只手的位置及其外接矩形预测当前帧图像中第一只手的ROI（Region Of Interest），在此ROI内做深度滤波以定位当前帧图像中第一只手的位置。

7.如权利要求1所述的基于Kinect传感器的双手跟踪方法，其特征在于，所述步骤S5中的双手跟踪包括：

1）双手在相互遮挡之前的分离状态时，对两个目标进行分别跟踪，即根据前一帧或两帧以上图像中两只手的位置和尺寸信息分别预测当前帧图像两目标各自的ROI，并在这两个区域内分别检测；

2）双手在相互遮挡状态时，检测到的两个目标轨迹重合，视为对同一目标进行跟踪；

3）双手在相互遮挡后分开时，根据遮挡前后双手在深度方向上位置关系的不变性辨别双手，并分别跟踪。

8.一种基于Kinect传感器的双手跟踪装置，其特征在于包括如下模块：

视频采集模块，用于从Kinect传感器获取分辨率和帧率都相同的彩色视频流和深度视频流；

检测模块一，用于从所获取的彩色图像和深度图像中检测第一只做起始手势的手；

单手跟踪模块，包括定位单元和跟踪单元，用于利用前一帧或者两帧以上图像中第一只手的位置信息和尺寸信息对第一只手进行定位和跟踪；

检测模块二，用于利用第一只手的位置信息和尺寸信息检测第二只手；

双手跟踪模块，用于对已经检测到的双手进行跟踪。

9.如权利要求8所述的基于Kinect传感器的双手跟踪装置，其特征在于：所述检测模块一包括样本训练单元、模式选择单元和起始手势判定单元。

10.如权利要求9所述的基于Kinect传感器的双手跟踪装置，其特征在于：所述样本训练单元选用SVM分类器学习和训练手部的形态学信息，选取几何不变矩作为训练特征。

11.如权利要求9所述的基于Kinect传感器的双手跟踪装置，其特征在于，所述模式选择单元用于：

当光线适当时，选用肤色模式，即用肤色滤波结合深度滤波的方法提取第一只手；

当光线太暗或太亮时，选用形状模式，即用深度滤波结合形状滤波的方法提取第一只手。

12.如权利要求9所述的基于Kinect传感器的双手跟踪装置，其特征在于：所述起始手势判定单元中，起始手势定义为：手向前伸出且距离身体在阈值d以上。