[发明专利]一种基于并联卷积神经网络的手势估计方法

权利要求书

1.一种基于并联卷积神经网络的手势估计方法，其特征在于，包括以下步骤：

S1、图像获取：采用RGB-D相机获得彩色图像和深度图像；

S2、图像分割：根据预先训练得到的手部分类模块，在彩色图像上识别出手部所在的位置；

S3、手部深度图获取：根据手部在彩色图像上对应的位置，找到其在深度图像上对应的位置，然后将手部深度图分离出来；

S4、手势估计：将分离出的深度图转化为灰度图，然后将灰度图输入并联卷积神经网络手势估计模块进行识别，从而获得能够表示手部姿态的多个关节点坐标，其中，手势估计模块通过下述步骤获得：

1)、收集含有标注的手部深度图，采用了公开数据集，该公开数据集含有选定的标注好的手部深度图；

2)、采用数据增强的方式，扩充训练集；

3)、设计并联的深度卷积神经网络结构：该网络结构由深层网络和浅层网络并联形成，深层网络决定了网络的精确度，浅层网络决定网络的收敛速度；

4)、网络的目标函数J如式(1)，训练目标是求解最优的网络权重值w，以使目标函数J的值最小；

其中，x_i为训练样本,y_i为训练样本对应的标签值，N为训练样本的个数，λ为惩罚系数，f(x_i)是训练样本x_i对应的网络预测值，w是网络权重，||w||₂为权重w的L2范数；

5)、网络训练算法采用随机梯度下降，将训练集分为多个小集合，每次随机无放回的抽取一个小集合的样本将其送入网络，求解目标函数得到的误差，然后利用反向传播算法将误差回传到每一层，再通过梯度下降算法更新权重，这样重复多次可将全部样本抽取一遍，称之为一个周期，最终训练多个周期；

6)、将最终训练得到的网络权重保存起来，即可得到训练好的手势估计模块；

S5、结果输出：输出手势结果。

2.根据权利要求1所述的一种基于并联卷积神经网络的手势估计方法，其特征在于，步骤S2中，利用训练得到的手部分类模块的识别手部位置的过程具体如下：

1)、构建图像金字塔，从而获得多幅彩色图像，然后获取各彩色图像的梯度信息；

2)、固定选取框以固定步长分别扫描每幅彩色图像，每经过一处，计算统计当前框内的HOG特征；

3)、将得到的HOG特征输入训练好的手部分类模块中进行扫描识别，保存识别的手部特征；

4)、扫描识别完成后，得到一组选取框的坐标值，采用最大化抑制合并重叠的选取框，最终得到含有手部的扫描框，从而完成图像分割。

3.根据权利要求1所述的一种基于并联卷积神经网络的手势估计方法，其特征在于，步骤S2中，手部分类模块通过以下步骤训练获得：

1)、收集含有手部的图片，且手部占图片的面积大约80％以上，然后再收集若干背景图片；

2)、计算收集到图片的HOG特征，然后含有手部的为正例，背景图为反例；

3)、采用支持向量机进行训练，求最优化的权重和偏置，最终得到训练好的手部分类模块。

4.根据权利要求1所述的一种基于并联卷积神经网络的手势估计方法，其特征在于，步骤3)中网络结构的输出层采用的输出函数为：

其中，x为输入量，L为阈值常数，α和β分别为函数系数并且两者取值范围均为0到1，而且均随着训练过程而衰减。