[发明专利]一种TOF传感器及单目摄像头融合手势识别装置及手势识别方法

说明书

本发明提出一种TOF传感器及单目摄像头融合手势识别装置及手势识别方法，所述方法首先利用目标场景的TOF稀疏采样数据分割主体目标，随后利用单目摄像头所采集图像提取手部特征，进而分析得到手势命令。所述装置包括一个或多个TOF传感器、单目摄像头和计算平台；所述装置整体集成为一个模块；所述计算平台为嵌入式计算平台；所述单目摄像头配合一个或多个TOF传感器捕获用户手势动作，所述用户手势动作经计算平台处理后转化为相应的控制指令发送至受控设备；本发明所述方法及装置可在复杂环境下准确捕获用户手势动作，总体成本低、模块化程度高、体积小、功耗低、扩展性好，并可根据应用场景进行定制。

技术领域

本发明属于手势识别技术领域，特别是涉及一种TOF传感器及单目摄像头融合手势识别装置及手势识别方法。

背景技术

用于手势识别的传感器主要包括单目/多目摄像头、TOF和结构光传感器等。各类传感器在性能、精度、成本各有不同，在不同场景中有着独特的应用。因此，为了满足复杂场景及应用需求往往将多种传感器组合应用，协同进行检测与识别。另一方面，手势识别的设备成本随着传感器数量的增加而增加，因此需要在传感器类型、数量和处理算法复杂度间寻找平衡。针对当下手势识别小型化、模块化的趋势，低成本、低复杂度的手势识别方案具有重要的应用价值。

目前采用多传感器融合的检测及识别方案通常硬件成本较高，融合算法较为复杂，不适用于低成本应用场景。部分方案则采用多个传感器简单叠加重复检测，未能根据手势识别的特点与需求充分发挥传感器的效能。

发明内容

本发明目的是为了解决现有技术中的问题，提出了一种TOF传感器及单目摄像头融合手势识别装置及手势识别方法。本发明所述方法首先利用目标场景的TOF稀疏采样数据分割主体目标，随后利用单目摄像头所采集图像提取手部特征，进而分析得到手势命令。本发明所述方法及装置可在复杂环境下准确捕获用户手势动作，总体成本低、模块化程度高、体积小、功耗低、扩展性好，并可根据应用场景进行定制。

本发明是通过以下技术方案实现的，本发明提出一种TOF传感器及单目摄像头融合手势识别装置，所述装置包括一个或多个TOF传感器、单目摄像头和计算平台；所述装置整体集成为一个模块；所述计算平台为嵌入式计算平台；所述单目摄像头配合一个或多个TOF传感器捕获用户手势动作，所述用户手势动作经计算平台处理后转化为相应的控制指令发送至受控设备；所述装置还包括红外补光灯，所述装置根据当前场景光照强度自动调节红外补光灯开关及TOF传感器参数。

进一步地，所述装置通过USB、串口、蓝牙、WiFi或ZigBee通信方式连接至受控设备。

本发明还提出一种TOF传感器及单目摄像头融合手势识别装置的手势识别方法，所述方法包括如下步骤：

步骤1、从TOF传感器和单目摄像头获取捕获数据；

步骤2、从TOF传感器获取的捕获数据中提取采样点；

步骤3、根据步骤2中所得采样点对单目摄像头捕获图像进行区域分割；

步骤4、由区域分割结果进行手部边缘及特征点提取；

步骤5、将手部边缘与特征点进行比对，判断是否为误检，如为误检，执行步骤8，否则执行步骤6；

步骤6、分析手部特征，转换至对应的手势控制指令；

步骤7、输出手势控制指令；

步骤8、结束。

进一步地，所述采样点提取具体为：

步骤21、从TOF传感器获取各个空间点数据；

步骤22、根据预设的阈值对各个空间点进行筛选，符合阈值的作为采样点保留；