[发明专利]一种基于深度残差网络的手势识别方法

权利要求书

1.一种基于深度残差网络的手势识别方法，其特征在于，包括以下步骤：

S1.采集视频数据，将人的手部作为检测目标进行目标检测，并将检测到的人的手部作为图像进行存储；

S2.根据S1步骤采集到的人的手部图像获得手部位置坐标，再通过基于深度残差网络的关节识别模型进行手势关键点检测，得到手部关键点坐标；

S3.将S2步骤获得的手势关键点坐标输入到SoftMax分类器进行分离，得到各种手势的分类，最终识别手势。

2.根据权利要求1所述的一种基于深度残差网络的手势识别方法，其特征在于，所述的S1步骤中将人的手部作为检测目标进行目标检测的具体方法是：

S101.将人的手部视频作为图像经过卷积神经网络，将得到的特征图生成不同尺寸的候选框；

S102.将S101步骤所述的候选框与训练样本标定框进行匹配与判断，得到目标样本；

S103.由预测框与标定框的位置偏移损失和分类结果损失加权和得到的总损失函数来更新S101所述卷积神经网络的参数设置，得到更准确的用于人手目标检测的模型，最终得到含有人的手部的图像。

3.根据权利要求1所述的一种基于深度残差网络的手势识别方法，其特征在于，所述的S102步骤中的匹配判断的准则为：当一个候选框与已标定的手部框的重叠面积比例大于其余所有的候选框重叠面积比时，认为该候选框匹配成功；当某一候选框与已标定的手部框的匹配度大于一定的阈值时，认为该候选框匹配成功；满足以上两个条件之一则判断为匹配成功，当候选框判断为成功后，则该候选框被激发为一个得到预测结果的正样本，反之则为负样本。

4.根据权利要求1所述的一种基于深度残差网络的手势识别方法，其特征在于，所述的S2步骤中基于深度残差网络的关节识别模型进行手势关键点检测的具体方法是：

S201.在训练识别模型时，采集同一手势在同一时刻不同角度的二维图像，并用预训练检测器对上述测试视频数据中的所有手部关键点进行检测，得到不同角度下同一点的识别结果；

S202.将S201步骤获得的不同角度下同一点的识别结果，通过RANSAC算法构建每个关键点的三维位置以及整个手部的三维模型，使得每一时刻成为具有三维关节点特征的画面帧，以获得手部关节点标定的输出图像；

S203.此时将预训练检测器中的已标定手部图像与S202步骤获得的手部关节点标定的输出图像作为新的训练样本继续对上述模型进行训练更新，得到多视角引导对二维输入图像；

S204.最后，采用Multiview Bootstrapping算法对S203步骤所述的多视角引导对二维输入图像进行识别，得到手部关键点坐标。

5.根据权利要求1所述的一种基于深度残差网络的手势识别方法，其特征在于，所述的SoftMax分类器的损失函数如下：

其中y_ik表示真实标签信息，p_ik表示模型预测样本，N是总训练样本数，K是样本的类别，正则化参数λ＝0.0005，对W＝{W₁…W₁₀₂₄}，其中W_i的维度等于输出维度。