[发明专利]一种基于并联卷积神经网络的手势估计方法

摘要

本发明属于自动识别技术领域，并公开了一种基于并联卷积神经网络的手势估计方法，包括以下步骤：S1、采用RGB‑D相机获得彩色图像和深度图像；S2、根据预先训练得到的手部分类模块，在彩色图像上识别出手部所在的位置；S3、根据手部在彩色图像上对应的位置，找到其在深度图像上对应的位置，然后将手部深度图分离出来；S4、将分离出的深度图转化为灰度图，然后将灰度图输入并联卷积神经网络手势估计模块进行识别，从而获得能够表示手部姿态的多个关节点坐标；S5、输出手势结果。本发明提供了一种端到端的手势估计网络架构，降低了算法的复杂度，并联结构极大提高了网络收敛速度，极大节省了训练时间，提高了效率。

主权项

1.一种基于并联卷积神经网络的手势估计方法，其特征在于，包括以下步骤：/nS1、图像获取：采用RGB-D相机获得彩色图像和深度图像；/nS2、图像分割：根据预先训练得到的手部分类模块，在彩色图像上识别出手部所在的位置；/nS3、手部深度图获取：根据手部在彩色图像上对应的位置，找到其在深度图像上对应的位置，然后将手部深度图分离出来；/nS4、手势估计：将分离出的深度图转化为灰度图，然后将灰度图输入并联卷积神经网络手势估计模块进行识别，从而获得能够表示手部姿态的多个关节点坐标，其中，手势估计模块通过下述步骤获得：/n1)、收集含有标注的手部深度图，采用了公开数据集，该公开数据集含有选定的标注好的手部深度图；/n2)、采用数据增强的方式，扩充训练集；/n3)、设计并联的深度卷积神经网络结构：该网络结构由深层网络和浅层网络并联形成，深层网络决定了网络的精确度，浅层网络决定网络的收敛速度；/n4)、网络的目标函数J如式(1)，训练目标是求解最优的网络权重值w，以使目标函数J的值最小；/n /n其中，x_i为训练样本,y_i为训练样本对应的标签值，N为训练样本的个数，λ为惩罚系数，f(x_i)是训练样本x_i对应的网络预测值，w是网络权重，||w||₂为权重w的L2范数；/n5)、网络训练算法采用随机梯度下降，将训练集分为多个小集合，每次随机无放回的抽取一个小集合的样本将其送入网络，求解目标函数得到的误差，然后利用反向传播算法将误差回传到每一层，再通过梯度下降算法更新权重，这样重复多次可将全部样本抽取一遍，称之为一个周期，最终训练多个周期；/n6)、将最终训练得到的网络权重保存起来，即可得到训练好的手势估计模块；/nS5、结果输出：输出手势结果。/n