[发明专利]基于动态时空卷积的动态手势识别方法

说明书

本发明提供一种基于动态时空卷积的动态手势识别方法。基于动态时空卷积的动态手势识别方法包括如下步骤：获取包含动态手势的数据集；数据集帧采样；划分数据集；构建动态时空建模模块；构建基于动态时空卷积的手势识别模型；训练基于动态时空卷积的动态手势识别模型；使用训练得到的模型用于动态手势的识别。本发明采用基于动态时空卷积的模型对动态手势进行识别，通过在2D卷积网络上增加具有动态时间建模模块的方式避免了使用3D卷积计算量过高的问题，本发明提出的动态时间建模模块采用动态卷积的方式对完整动作提取时序信息进行建模，同时增加的计算成本很小却可以大幅提高识别准确率。

技术领域

本发明属于计算机视觉中的手势识别领域，涉及一种动态手势识别模型的搭建方法和动态手势识别方法。

背景技术

动态手势作为一种自然的交互方式，在虚拟现实、汽车用户界面、智能家居等领域具有非常重要的意义。基于视觉的手势识别技术因其使用的摄像头易于获取且无需佩戴额外设备的优势，是手势识别研究的重点。随着深度学习的发展基于深度学习的方法已成为当前手势识别领域的主流方法。

基于深度学习的动态手势识别方法有多种，其中一些方法采用 2 维卷积来提取手势的时空特征。例如，Simonyan 等人提出的双流网络(Two-Stream)，该网络将 RGB 图像和光流信息作为输入，利用 2 维卷积分别学习空间特征和运动特征。L.Wang 等人提出的时域分割网络(TSN)，将每个视频段分割为多个片段，并使用双流网络提取每个片段的时空特征，最后将特征融合得到预测结果，但光流的抽取需要较高的计算成本难以用于实时检测。基于视觉的动态手势识别通常采用视频数据，因此有研究者尝试采用 3 维卷积提取视频的时间和空间信息。Du Tran 等人使用 3×3×3 的小卷积核构建 C3D 模型，性能超过了当时 2D 卷积结构。虽然基于 3D 卷积的模型可以直接处理视频数据，但由于 3D 卷积比2D 卷积多了一个维度，计算成本也呈指数增加。

以上方法中，基于2D卷积的方法时空特征提取不足，存在准确度低的缺点；基于3D 卷积方法参数量过大，在实际应用中存在实时性差的缺点；因此使用在2D卷积网络中插入时空建模模块的方式是一种平衡计算成本和准确度的方法。

发明内容

针对上述问题，本发明提供了一种基于2D卷积的动态手势识别模型的搭建方法，包括以下步骤：

步骤1，获取动态手势视频数据集，在不同的背景下拍摄不同人的的不同手势；

步骤2，对步骤1种获取的数据集进行预处理；首先将视频处理为一帧一帧的图像序列，并通过裁剪将图像调整为固定大小，然后对数据集进行标注，需要标注手势动作的开始帧、结束帧和所属类别，最后将数据集划分为训练集、验证集、测试集；

步骤3，构建具有动态时空建模能力的即插即用模块，首先对考虑全局时序信息，构建长期时序聚合模块LAM，然后考虑短期运动信息，构建运动特征激励模块ME，最后将长期时序聚合模块和短句运动激励模块组合得到具有时空建模能力的即插即用模块LAMME；

具体的来说，长期时序建模模块LAM包括全局时序信息累加和全局时序信息动态聚合，所述全局时序累加，首先使用全局平均池化将输入特征图压缩，然后使用一维卷积抽取全局时间信息，最后包含全局时序信息的特征图和原特征图累加得到包含全局时序信息的特征图；所述全局时序信息聚合，首先使用全局平均池化将特征图压缩，然后使用两个全连接层对全局时序信息动态编码后使用softmax归一化得到动态卷积权重，最后使用2D卷积的方式在经过全局时序累加后的特征图上聚合全局时序信息；

具体的来说，所述运动信息激励，首先使用1×1的2维卷积压缩通道数，然后使用相邻帧之间的特征图相减来模拟运动信息，然后使用1×1的2维卷积还原通道数，接下来使用sigmoid函数计算运动敏感权重，然后使用得到的运动敏感权重乘原输入特征图得到经过运动激励后的特征图；

所述长期时序建模模块和运动激励模块的组合，是将长期时序建模模块和运动激励模块串联得到的组合模块，输入的特征图经过组合模块后特征图就包含了长期时序信息和运动信息。