[发明专利]基于改进Resnet的实时手势识别方法

权利要求书

1.一种基于改进Resnet的实时手势识别方法，其特征在于，包括以下步骤：

步骤S1：通过滑动窗口将视频流作为手势检测网络的输入，手势检测网络输出是否检测到手势；

步骤S2：将检测结果通过滤波器，滤波器结合历史信息输出最终的检测结果；

步骤S3：若滤波器的输出表示检测到手势，则将滑动窗口中的视频流输入手势分类网络，手势分类网络输出分类结果；

步骤S4：对分类结果进行过滤，输出满足条件的分类结果；

在步骤S1中，采用的特征提取网络包括第一改进型Resnet10和第二改进型Resnet10；

所述第一改进型Resnet10将Resnet10的第一个7×7的卷积核改为5×5，步长改为1，并将第三个残差块中的第一个卷积的步长改为1；

所述第二改进型Resnet10将Resnet10的第一个7×7的卷积核改为9×9，步长改为4，将第三个残差块由瓶颈式残差块改为基础残差块，并将整个网络中第一个卷积核之后的卷积核都改为5×5，且步长改为3；

将所述第一改进型Resnet10和第二改进型Resnet10两个网络的输出进行连接操作，通过两个改进型Resnet10中的基础残差块，再通过步长为2平均池化层，得到手势特征t；

在步骤S3中，所述手势分类网络以Resnet101为基础，将Resnet101的第二个瓶颈残差块提取的特征与所述手势检测网络提取的特征进行连接，得到手势分类网络的结构；

步骤S2的具体方法为：

设和分别为前j个时间滑动窗口的存在手势与不存在手势的分数，w_j为前j个时间对应的权重，w_j的计算公式为其中filter为所记录历史信息的个数，滤波器的分数若sf＞3，则认为检测器检测到手势；

步骤S3具体包括以下步骤：

步骤S31：构建手势分类网络；

步骤S32：设m为手势分类网络的滑动窗口大小，C＝{d₁，d₂，…，d_m)为手势分类网络的滑动窗口图像的集合，当滤波器的输出为存在手势，则将手势分类网络的滑动窗口中的数据输入到手势分类网络，CLA(·)为手势分类网络模型，fea＝CLA(C)为手势分类网络提取的特征；

步骤S33：将手势分类网络提取到的特征fea依次经过平均池化层，全连接层FULL，得到每个类别的分数score_a，a表示手势的类别，score_a表示类别为a的手势的分数；再通过Softmax激活函数得到各类的分类概率P_a，计算公式为其中class表示手势的类别数量，分类概率P_a最大的类作为预测结果输出；

步骤S4中，具体包括以下步骤：

步骤S41：若当前手势分类网络的输出结果与上一分类结果的时间戳间隔大于等于0.75秒，则将当前结果作为最终结果；

步骤S42：若当前手势分类网络的输出结果与上一分类结果的时间戳间隔小于0.75秒，计算最大分类概率与第二分类概率之差conf＝P_max-P_second，其中P_max为最大的分类概率，P_second为第二大的分类概率，若conf＞0.15，则将分类概率最大的类作为分类结果输出，若conf＜0.15则不输出分类结果。

2.根据权利要求1所述的基于改进Resnet的实时手势识别方法，其特征在于：

步骤S1具体包括以下步骤：

步骤S11：选取手势识别训练集Jester作为数据集，并获得训练数据的相关标注；

步骤S12：将手势检测网络的滑动窗口的长度n设为8，进行手势检测，得到手势特征t；

步骤S13：设D＝{d₁，d₂，…，d_n}为手势检测网络的滑动窗口中的图像帧的集合，d_i为滑动窗口中的第i帧图像，DET(·)为手势检测网络模型，t＝DET(D)为当前滑动窗口中的视频对应的特征，将特征t通过最后一个全连接层W，得到s₀和s₁，s₀为不存在手势这一类的分数，s₁为存在手势这一类的分数。