[发明专利]基于RGB信息的实时手部识别方法、存储介质、电子设备

说明书

技术领域

本发明涉及图像识别，尤其涉及基于RGB信息的实时手部识别方法、存储介质、电子设备。

背景技术

在人机交互系统中，动态的手势识别技术是人机交互中重要的交互技术之一。为了增强准确性和鲁棒性，现阶段实时的动态手势识别主要存在以下问题：

1.手部的关节自由度较多，实时识别及跟踪的难度大；

2.手部的动作速率快，对采集设备要求高；

3.RGB图像中的手指交叠会对手势识别造成影响，由于同一个人的手掌皮肤颜色相同，交叠的部分又很难通过2D图片的RGB信息进行准确区分；

4.不同人的手部动态速率不同造成特定手部动作识别不准确。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于RGB信息的实时手部识别方法，本发明实时性强，准确度高、鲁棒性强、延时低、能够识别复杂的手部动作。

本发明提供基于RGB信息的实时手部识别方法，包括以下步骤：

获取实时RGB图像组，图像采集装置采集手部多角度图像，得到手部二维RGB图像组；

二维图像分割，对所述RGB图像组中的图像依次进行图像分割；

建立三维手势模型，根据图像分割后的所述RGB图像组建立三维手势模型；

手势判断，采用各向异性高斯和模型对所述三维手势模型与手部三维模型数据库中的模型进行识别判断，得到当前手部姿态；

输出手势结果，输出所述当前手部姿态。

进一步地，基于RGB信息的实时手部识别方法还包括步骤三维手部姿态转为二维手部姿态，将所述三维手势模型投影至二维投影面得到二维手势模型。

进一步地，所述的步骤输出手势结果具体为输出所述二维手势模型和或者或所述三维手势模型。

进一步地，所述的步骤二维图像分割具体采用二维四叉树对所述RGB图像组中的图像依次进行图像分割。

进一步地，所述的步骤建立三维手势模型具体采用动作匹配能量最大算法对图像分割后的所述RGB图像组的图像进行匹配，建立三维手势模型。

进一步地，所述的三维手势模型采用17个各向异性高斯特征的椭球体进行等效。

进一步地，所述的图像采集装置为摄像机，所述的摄像机的采集频率大于每秒20帧。

进一步地，所述的图像采集装置的数量为至少2台。

一种电子设备，包括：处理器；存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行基于RGB信息的实时手部识别方法。

一种计算机可读存储介质，其上存储有计算机程序：所述计算机程序被处理器执行基于RGB信息的实时手部识别方法。

相比现有技术，本发明的有益效果在于：

本发明基于RGB信息的实时手部识别方法，包括获取实时RGB图像组、二维图像分割、建立三维手势模型、手势判断、输出结果。本发明还涉及存储介质及电子设备。本发明采用各向异性高斯和模型将人的手部重要关节等效为椭球体模型，通过多角度的图像采集装置采集手部实时图像，实现手部姿态的快速识别。本发明实时性强，准确度高、鲁棒性强、延时低、能够实现识别复杂的手部动作。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的基于RGB信息的实时手部识别方法步骤示意图；

图2为采用SoG的等效手部三维模型示意图；

图3为本发明的采用SAG的等效手部三维模型示意图示意图；

图4为本发明的步骤三维手部姿态转为二维手部姿态的原理示意图；

图5为采用SAG与SoG的等效手部三维模型下摄像机数量与误差关系图；

图6为采用SAG与SoG的等效手部三维模型不同子数据集下的误差图表。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

基于RGB信息的实时手部识别方法，如图1所示，包括以下步骤：