[发明专利]一种基于深度学习的三维动态手势识别方法

说明书

本发明提出了一种基于深度学习和立体视觉的低成本，高精度，快速实时的动态三维手势识别方法。利用深度学习方法，能够快速的提取手势区域特征点，满足实时动态三维重建的要去，解决了立体视觉技术匹配难得问题。利用立体视觉技术，对比结构光，深度相机等方案，降低了成本。通过对于特征点的稀疏重建，在不损失精度的情况下大大减小了运算量。对于特征点的追踪方法提高了轨迹识别的速度与精度，基于特征点的轨迹定义方案也减小了轨迹识别与匹配的难度。

技术领域：

本发明属于图像处理技术领域，特别是涉及一种动态手势光学三维重建及识别的方法及装置。

背景技术：

手势识别作为计算机视觉的一个重要部分，是沟通现实世界和虚拟的数字世界的桥梁，被广泛的应用于虚拟现实、增强现实、人机交互、数字娱乐、电子商务等诸多行业。传统用于人机交互的手势识别方法主要是基于触摸交互设备 (鼠标，触摸屏)，这类交互方式无法完全模拟手势动作，只能进行二维的动作识别，而获取三维手势信息一般使用光学测量方法。

光学三维测量由于具有非接触、精度高、速度快的优势，已经发展成为三维检测领域最重要的技术。光学三维测量又可分为主动式和被动式两种。主动三维测量技术包括飞行时间法、结构光投影法、干涉法等。其中，由于结构光立体视觉系统简便，成本比较低，而且精度较高，因此应用最为广泛。

结构光立体视觉，通常向被测物体表面投影特定的编码光，包括数字光投影技术还是物理光栅投影的模拟图案，利用相机拍摄编码光在物体表面的调制信号，在进一步解调得到和深度信息有关的调制信号，最后经过标定得到物体表面的三维形貌。但是两种投影方法都是对底片的呈像，是一种成像关系，因此都存在着景深的限制。大大限制了三维测量的范围。另外，投影结构光需要增加额外的投影设备，大大增加了硬件成本。

被动式测量方法以立体视觉为代表。光学被动式测量不需要投射预设的光栅，而是在自然光(包括室内可控照明光)的条件下，通过相机等光学传感器采集二维图像，主要利用像素坐标信息以获取物体的三维信息，其典型代表就是立体视觉技术采用非结构光照明方式，从一个或多个角度观察系统中的二维信息来合成第三维信息(如物体的三维空间坐标)，从而得到被测物体的三维数据；还可以通过多个观察系统中二维图像的相关或匹配运算来对物体进行三维重建。立体视觉技术模仿人类视觉原理，具有结构简单、不需要投影光、组建灵活等优点，但是立体视觉面临的最大挑战是“匹配难”问题。

发明内容：

鉴于现有技术的缺陷与不足，本发明提出了一种基于深度学习和立体视觉的低成本，高精度，快速实时的动态三维手势识别方法。该方法使用立体视觉系统，通过深度学习方法学习提取出左右相机采集图像上手势的关键特征点，解决“匹配难”的问题，使用预先标定好的立体视觉系统相机内外参数计算关键特征点的三维坐标，最终对多帧采集图像的关键点三维坐标轨迹进行跟踪，与预先定义好的轨迹模型进行对比，判断动态手势含义。

本发明的具体技术方案来如下：

一种基于深度学习的三维动态手势识别方法,由相对设置的两个相机和一个计算中心构成，两个相机都与计算中心连接，两个相机用于采集图像；计算中心用于对采集到的手势图像使用深度学习方法进行手势区域提取、手势在图像上的特征点提取、特征点匹配和三维重建、以及三维姿态分析与轨迹追踪、完成手势的动态识别。

两个相机构成双目立体视觉系统，双目立体视觉系统用于获取手势三维模型；两个相机之间光轴存在0°到120°夹角，保证存在足够重合视场。

双目立体视觉三维重建部分，采用相机标定方法获取相机内外参数，只重建相机采集图像上的手势特征点的三维坐标，用于后续手势动作的分析。

手势特征点提取部分，采用深度学习方法，预先训练深度识别模型a、b，模型a用于识别相机采集到的图像中手势区域ROI，模型b提取模型a识别到的手势区域ROI内的手势在图像上特征点。