[发明专利]一种基于时间移位框架的动态手势识别方法及系统

说明书

本发明公开了一种基于时间移位框架的动态手势识别方法及系统，其构建了一个动态手势识别网络模型，所述动态手势识别网络模型的基础网络为残差网络，所述残差网络中包含注意力模块和时间移位模块，所述注意力模块用于优化残差块提取得到的中间特征，所述时间移位模块用于对每层残差块之间的注意力特征进行时间维度建模融合；从而使用复杂度更低的二维卷积神经网络代替三维卷积神经网络，并能够在RGB图像模式下达到RGB‑D图像模式下的识别效果，采用动态手势识别网络模型对动态手势视频进行检测识别，能够解决目前三维动态手势识别方法中训练数据量大和算法复杂度高的问题。

技术领域

本发明涉及计算机视觉与人机交互技术领域，尤其是涉及一种基于时间移位框架的动态手势识别方法及系统。

背景技术

手势识别的主要任务是从图像或视频中提取特征并进行分类得出相应的标签和解释，应用范围十分广泛，如人机交互、视觉监控、视频检索等。根据手势本身是否运动，手势识别可以分为静态手势识别与动态手势识别，相比静态手势识别，动态手势的识别任务可能更为艰巨，往往需要通过连续的视频序列来学习和训练手势动作的时空特征，进而对不同的动态手势进行分类识别。目前动态手势识别中精度较高的深度学习模型通常使用深度图像或RGB-D融合数据作为输入，采用三维卷积神经网络进行训练来得到动态手势识别模型，往往存在数据量大和算法复杂度较高的问题，给动态手势识别模型的训练和测试带来了一定的难度。

目前在三维动态手势识别方法领域中有如下一些方法：

专利文件“基于双通路深度卷积神经网络的动态手势识别方法”(CN201710990519.2)中提出了一种双通路深度卷积网络，通过多级的深度卷积层和深度池化层，分别提取并融合动态手势在深度空间和彩色空间上的时域特征和空间特征。该方法通过前后帧图像像素相减的方法获取图像序列中的运动信息，再通过中值滤波和先腐蚀后膨胀的方法去除噪声，分别获取前景与运动信息，但该方法容易疏导光照和背景的影响，当人手与背景颜色相近或背景杂乱时，容易将前景与运动信息混淆，降低动态手势识别准确率；

专利文件“一种基于深度神经网络的动态手势识别方法及系统”(CN201810745350.9)，该方法采集RGB图像与深度信息的动态手势视频片段生成训练样本数据集，设计了一种动态手势识别网络模型，该网络模型由特征提取网络、前后帧关联网络与分类识别网络构成，其中前后帧关联网络用于对每一个手势含义的样本经过特征提取网络得到的特征向量进行前后时间帧的关联映射，并将其合并为每一个手势含义的融合特征向量。该方法不属于端到端的网络，可能存在计算瓶颈，在实时性上有一定限制，同时该方法采用的前后帧关联网络为LSTM长短时网络，其训练过程容易受到内存和贷款等约束，并且对时间维度较长的图像识别效果较差，缺乏适用性；

专利文件“一种基于轻量3D残差网络和TCN的多模态动态手势识别方法”(CN202011467797.8)中提出了一种多模态动态手势识别方法，使用RGB-D图像序列作为输入，轻量3D残差网络和时间卷积网络作为基础模型进行长短期的时空特征的提取，该方法使用RGB-D数据作为网络输入存在数据量大，并且需要后期对两种模态的特征分别进行提取和融合操作，增大了网络的复杂度和训练难度；

专利文件“一种基于自注意力机制的动态手势识别方法和系统”(CN202010607626.4)中提出多模输入策略来描述动态手势的发生过程，并且利用非局部信息统计的空间自注意力机制计算出特征图上任意距离的两个元素之间的依赖关系，进而直接获取整个特征图上全局信息对任意元素的影响，该方法需要使用提取RGB特征、深度特征以及光流特征，识别效果较好但复杂度较高，所需数据模式复杂且不易获取，难以推广至实际场景。

发明内容

本发明提出一种基于时间移位框架的动态手势识别方法及系统，以克服上述技术不足。

为达到上述技术目的，本发明的技术方案第一方面提供一种基于时间移位框架的动态手势识别方法，其包括如下步骤：