[发明专利]一种TOF传感器及单目摄像头融合手势识别装置及手势识别方法

权利要求书

1.一种TOF传感器及单目摄像头融合手势识别装置，其特征在于：所述装置包括一个或多个TOF传感器、单目摄像头和计算平台；所述装置整体集成为一个模块；所述计算平台为嵌入式计算平台；所述单目摄像头配合一个或多个TOF传感器捕获用户手势动作，所述用户手势动作经计算平台处理后转化为相应的控制指令发送至受控设备；所述装置还包括红外补光灯，所述装置根据当前场景光照强度自动调节红外补光灯开关及TOF传感器参数。

2.根据权利要求1所述的装置，其特征在于：所述装置通过USB、串口、蓝牙、WiFi或ZigBee通信方式连接至受控设备。

3.一种如权利要求1所述的TOF传感器及单目摄像头融合手势识别装置的手势识别方法，其特征在于：所述方法包括如下步骤：

步骤1、从TOF传感器和单目摄像头获取捕获数据；

步骤2、从TOF传感器获取的捕获数据中提取采样点；

步骤3、根据步骤2中所得采样点对单目摄像头捕获图像进行区域分割；

步骤4、由区域分割结果进行手部边缘及特征点提取；

步骤5、将手部边缘与特征点进行比对，判断是否为误检，如为误检，执行步骤8，否则执行步骤6；

步骤6、分析手部特征，转换至对应的手势控制指令；

步骤7、输出手势控制指令；

步骤8、结束。

4.根据权利要求3所述的方法，其特征在于：所述采样点提取具体为：

步骤21、从TOF传感器获取各个空间点数据；

步骤22、根据预设的阈值对各个空间点进行筛选，符合阈值的作为采样点保留；

步骤23、根据TOF传感器与单目摄像头间的空间关系，将采样点空间坐标变换至单目图像坐标；

步骤24、输出变换后的采样点坐标。

5.根据权利要求4所述的方法，其特征在于：所述区域分割具体为：

步骤31、读取变换后的采样点坐标及单目图像；

步骤32、在单目图像中寻找各个采样点的邻域，从而将单目图像分为多个区域；

步骤33、输出分割结果。

6.根据权利要求5所述的方法，其特征在于：所述手部边缘提取具体为：

步骤411、读取区域分割结果；

步骤412、由区域分割结果得到各个区域间的分割线，在分割线中选取包含所有采样点的外包络作为手部边缘线；

步骤413、输出手部边缘。

7.根据权利要求6所述的方法，其特征在于：所述特征点提取具体为：

步骤421、读取变换后的采样点坐标及单目图像；

步骤422、选择包络所有采样点的最小矩形作为手部感兴趣区域ROI；

步骤423、将ROI区域内的单目图像与预设模型匹配，并从所匹配的模型中得到手部各个特征点；

步骤424、输出特征点。

8.根据权利要求7所述的方法，其特征在于：所述误检判断具体为：

步骤51、读取手部边缘和特征点；

步骤52、将手部边缘重新采样，使边缘点数目等同于特征点数目，随后以最接近图像上边缘的点为起点，按逆时针方向计算各个边缘点与特征点的坐标差，所有坐标差的平均值作为手部边缘与特征点之间的相似度。

9.根据权利要求8所述的方法，其特征在于：所述手部特征分析具体为：

步骤61、读取手部特征点及前序手势控制指令；

步骤62、计算手部特征点位置以及所有特征点组成几何形状、指向和特征点像素值，并与预设值进行匹配，得到单帧手势控制指令；将单帧手势控制指令与前序手势控制指令结合，再次与时序相关的预设值匹配，得到总体手势控制指令。