[发明专利]基于改进Resnet的实时手势识别方法

说明书

本发明提出一种基于改进Resnet的实时手势识别方法，包括以下步骤：步骤S1：通过滑动窗口将视频流作为手势检测网络的输入，手势检测网络输出是否检测到手势；步骤S2：将检测结果通过滤波器，滤波器结合历史信息输出最终的检测结果；步骤S3：若滤波器的输出表示检测到手势，则将滑动窗口中的视频流输入手势分类网络，手势分类网络输出分类结果；步骤S4：对分类结果进行过滤，输出满足条件的分类结果。该方法能够有效地对视频中的手势进行识别。

技术领域

本发明属于模式识别与计算机视觉技术领域，尤其涉及一种基于改进Resnet的实时手势识别方法。

背景技术

手势作为一种十分舒适的人机交互方式，目前已被应用于生活的许多方面，例如手语识别，设备控制等。因此，随着神经网络技术的成熟，基于计算机视觉的手势识别正成为一股热潮。在实际应用时，如何从视频流中识别手势，以及如何在保证系统的实时性的同时兼顾准确性也为实时手势识别加大了难度。尽管手势识别技术已经取得很大进步，在真实环境中还面临着许多挑战，如光照、距离等诸多因素都会影响手势识别的性能。

发明内容

针对现有技术的空白，本发明提出了一种基于改进Resnet的实时手势识别方法，包括以下步骤：步骤S1：通过滑动窗口将视频流作为手势检测网络的输入，手势检测网络输出是否检测到手势；步骤S2：将检测结果通过滤波器，滤波器结合历史信息输出最终的检测结果；步骤S3：若滤波器的输出表示检测到手势，则将滑动窗口中的视频流输入手势分类网络，手势分类网络输出分类结果；步骤S4：对分类结果进行过滤，输出满足条件的分类结果。该方法能够有效地对视频中的手势进行识别。

本发明具体采用以下技术方案：

一种基于改进Resnet的实时手势识别方法，其特征在于，包括以下步骤：

步骤S1：通过滑动窗口将视频流作为手势检测网络的输入，手势检测网络输出是否检测到手势；

步骤S2：将检测结果通过滤波器，滤波器结合历史信息输出最终的检测结果；

步骤S3：若滤波器的输出表示检测到手势，则将滑动窗口中的视频流输入手势分类网络，手势分类网络输出分类结果；

步骤S4：对分类结果进行过滤，输出满足条件的分类结果；

在步骤S1中，采用的特征提取网络包括第一改进型Resnet10和第二改进型Resnet10；

所述第一改进型Resnet10将Resnet10的第一个7×7的卷积核改为5×5，步长改为1，并将第三个残差块中的第一个卷积的步长改为1；

所述第二改进型Resnet10将Resnet10的第一个7×7的卷积核改为9×9，步长改为4，将第三个残差块由瓶颈式残差块改为基础残差块，并将整个网络中第一个卷积核之后的卷积核都改为5×5，且步长改为3；

将所述第一改进型Resnet10和第二改进型Resnet10两个网络的输出进行连接操作，通过两个改进型Resnet10中的基础残差块，再通过步长为2平均池化层，得到手势特征t；

在步骤S3中，所述手势分类网络以Resnet101为基础，将Resnet101的第二个瓶颈残差块提取的特征与所述手势检测网络提取的特征进行连接，得到手势分类网络的结构。

进一步地，步骤S1具体包括以下步骤：

步骤S11：选取手势识别训练集Jester作为数据集，并获得训练数据的相关标注；

步骤S12：将手势检测网络的滑动窗口的长度n设为8，进行手势检测，得到手势特征t；