[发明专利]三维静态手势识别方法和装置

说明书

本发明提供了一种三维静态手势识别方法和装置，三维静态手势识别方法包括：获取手势正面图像；获取手势侧面图像；根据手势正面图像和手势侧面图像生成三维手势模型；对三维手势模型进行降维处理；根据降维后的三维手势模型进行手势识别。本发明不仅能够提高手势识别的精度和成功率，还能够降低手势识别的运算时间和功耗。

技术领域

本发明涉及人机交互技术领域，具体涉及一种三维静态手势识别方法和一种三维静态手势识别装置。

背景技术

随着计算机的广泛应用，人机交互已经成为人们日常生活中的重要部分。人机交互的最终目标是实现人与机器自然地交流，其中肢体形态语言如手势、体势和表情是人们常用的交流方式，而手势在人机交互中具有方便、生动、形象和直观特点，因此对于手势识别的研究顺应了科技发展的需要。目前，手势识别主要有二维手势识别和三维手势识别等方向。随着手势识别技术的日趋完善，该技术逐渐被各个行业所采用，很大程度上提高了人机交互的便利性和实用性。

但是，由于人手本身具有多样性、多义性、多变性和时空差异性等特点，背景环境复杂多变、不可预知，加之手势自由度高而灵活，使得基于视觉的手势交互成为一个极富挑战性的多学科交叉的研究课题。基于视觉的手势交互技术和方法的研究，不仅在人工智能、模式识别、机器学习等学科中具有重要的理论意义，在智能化的学习、工作以及生活中也具有非常广泛的应用。基于视觉的手势交互技术是实现新一代人机交互不可缺少的一项关键技术。而如何提高手势识别的精度和成功率，并降低手势识别的运算时间和功耗成为亟需解决的问题。

发明内容

本发明为解决如何提高手势识别的精度和成功率，并降低手势识别的运算时间和功耗的技术问题，提供了一种三维静态手势识别方法和装置。

本发明采用的技术方案如下：

一种三维静态手势识别方法，包括：获取手势正面图像；获取手势侧面图像；根据所述手势正面图像和所述手势侧面图像生成三维手势模型；对所述三维手势模型进行降维处理；根据降维后的三维手势模型进行手势识别。

通过对应目标手部正面设置的第一图像采集单元采集所述手势正面图像，并通过沿对应目标手部侧面设置的导轨运动的第二图像采集单元从多个不同的角度采集多个手势侧面图像。

所述导轨为弧形导轨，所述弧形导轨所在的平面垂直于所述目标手部的手掌所在的平面。

所述第一图像采集单元采集一次所述手势正面图像，所述第二图像采集单元沿所述弧形导轨从第一端运动至第二端采集多个手势侧面图像或从第二端运动至第一端采集多个手势侧面图像，完成手势正面图像与手势侧面图像的同步采集。

根据所述手势正面图像和所述手势侧面图像生成三维手势模型，具体包括：参考三维手部骨骼模型的约束关系，根据所述手势正面图像得到三维手势模型指节参数；计算每个所述手势侧面图像中手部的面积，并选取手部的面积最小的手势侧面图像作为选定手势侧面图像；结合三维手势模型指节参数，根据所述选定手势侧面图像得到三维手势模型端指节与图像平面的夹角参数；结合所述三维手势模型指节参数和所述三维手势模型端指节与图像平面的夹角参数生成所述三维手势模型。

所述三维手势模型指节参数包括各个手指指节的长度和根指节、中指节、端指节与图像平面的夹角。

对所述三维手势模型进行降维处理，具体包括：将三维手势模型参数向量从27维降至12维。

根据降维后的三维手势模型进行手势识别，具体包括：以降维后的三维手势模型为输入，运用预先建立的手势识别深度学习模型获得三维手势模型特征向量；对所述三维手势模型特征向量进行量化，获得单个手势离散特征向量，并根据所述单个手势离散特征向量进行训练，获得静态手势分类器参数；将训练后的静态手势分类器用于对所述单个手势离散特征向量进行分类判断，输出手势识别结果。