[发明专利]一种基于并联卷积神经网络的手势估计方法

说明书

本发明属于自动识别技术领域，并公开了一种基于并联卷积神经网络的手势估计方法，包括以下步骤：S1、采用RGB‑D相机获得彩色图像和深度图像；S2、根据预先训练得到的手部分类模块，在彩色图像上识别出手部所在的位置；S3、根据手部在彩色图像上对应的位置，找到其在深度图像上对应的位置，然后将手部深度图分离出来；S4、将分离出的深度图转化为灰度图，然后将灰度图输入并联卷积神经网络手势估计模块进行识别，从而获得能够表示手部姿态的多个关节点坐标；S5、输出手势结果。本发明提供了一种端到端的手势估计网络架构，降低了算法的复杂度，并联结构极大提高了网络收敛速度，极大节省了训练时间，提高了效率。

技术领域

本发明属于自动识别技术领域，更具体地，涉及一种手势估计方法。

背景技术

手势估计应用于诸多领域，如手语识别，人机交互，以及增强现实等，其目的在于通过图像的方式估计出手部若干个关节点坐标。与一般的手势识别不同，手势估计是估计手部若干个关节点的坐标，而不是简单的对手势进行分类，因此技术上难度更高。随着消费级深度相机的兴起，如Kinect等，引发了新一轮的基于深度传感器的研究热潮。但是对于手势估计仍然存在众多挑战，主要有以下几个原因：1.由于手部关节拥有多个自由度，因此手势姿态属于高维空间；2.手指之间相似性较高，且比较灵活容易相互遮挡；3.在手势追踪过程中由于移动速度较快容易产生噪声。

对于手势估计一种比较常用的做法是利用手部的3D模型去拟合输入的深度图像。然而这种方法比较复杂，一般需要多个假设。同时它也需要设计评估深度图与3d模型匹配程度的准则，然而建立该准则并不是简单的任务。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种并联卷积神经网络的手势估计方法，能提高手势估计的精确度。

为实现上述目的，按照本发明，提供了一种基于并联卷积神经网络的手势估计方法，其特征在于，包括以下步骤：

S1、图像获取：采用RGB-D相机获得彩色图像和深度图像；

S2、图像分割：根据预先训练得到的手部分类模块，在彩色图像上识别出手部所在的位置；

S3、手部深度图获取：根据手部在彩色图像上对应的位置，找到其在深度图像上对应的位置，然后将手部深度图分离出来；

S4、手势估计：将分离出的深度图转化为灰度图，然后将灰度图输入并联卷积神经网络手势估计模块进行识别，从而获得能够表示手部姿态的多个关节点坐标；

S5、结果输出：输出手势结果。

优选地，步骤S2中，利用训练得到的手部分类模块的识别手部位置的过程具体如下：

1)、构建图像金字塔，从而获得多幅彩色图像，然后获取各彩色图像的梯度信息；

2)、固定选取框以固定步长分别扫描每幅彩色图像，每经过一处，计算统计当前框内的HOG特征；

3)、将得到的HOG特征输入训练好的手部分类模块中进行扫描识别，保存识别的手部特征；

4)、扫描识别完成后，得到一组选取框的坐标值，采用最大化抑制合并重叠的选取框，最终得到含有手部的扫描框，从而完成图像分割。

优选地，步骤S2中，手部分类模块通过以下步骤训练获得：

1)、收集含有手部的图片，且手部占图片的面积大约80％以上，然后再收集若干背景图片；

2)、计算收集到图片的HOG特征，然后含有手部的为正例，背景图为反例；

3)、采用支持向量机进行训练，求最优化的权重和偏置，最终得到训练好的手部分类模块。

优选地，步骤S4中，手势估计模块通过下述步骤获得：