[发明专利]一种基于时间移位框架的动态手势识别方法及系统

权利要求书

1.一种基于时间移位框架的动态手势识别方法，其特征在于，包括如下步骤：

采集动态手势视频样本,对动态手势视频样本进行标注并制作动态手势图像数据集；

构建动态手势识别网络模型，所述动态手势识别网络模型的基础网络为残差网络，所述残差网络中包含注意力模块和时间移位模块，所述注意力模块用于优化残差块提取得到的中间特征，所述时间移位模块用于对每层残差块之间的注意力特征进行时间维度建模融合；

利用动态手势图像数据集对动态手势识别网络模型进行训练；

采用训练完成的动态手势识别网络模型对动态手势视频进行检测识别。

2.根据权利要求1所述基于时间移位框架的动态手势识别方法，其特征在于，在对动态手势视频样本进行标注之后，需要对视频片段进行预处理，逐帧抽取形成图像序列，并对图像序列进行帧间差分处理。

3.根据权利要求2所述基于时间移位框架的动态手势识别方法，其特征在于，对动态手势动作的图像样本集进行采样，得到动态手势识别网络模型的输入样本集。

4.根据权利要求1所述基于时间移位框架的动态手势识别方法，其特征在于，所述注意力模块设置在每个残差块之间，所述时间移位模块设置在每层残差块的注意力特征输出块之间。

5.根据权利要求1所述基于时间移位框架的动态手势识别方法，其特征在于，所述注意力模块包括通道注意力单元和空间注意力单元。

6.根据权利要求1所述基于时间移位框架的动态手势识别方法，其特征在于，所述时间移位模块具体用于：在时间维度T上，分别用某一帧图像特征的前后两帧图像特征的部分通道来替换当前帧图像特征的部分通道。

7.根据权利要求1所述基于时间移位框架的动态手势识别方法，其特征在于，利用动态手势图像数据集对动态手势识别网络模型进行训练，具体包括如下内容：

将动态手势图像数据集按比例划分训练集和测试集；

利用训练集对动态手势识别网络模型进行训练，并使用交叉熵损失函数计算动态手势识别网络模型的损失函数值；

根据得到的损失函数值，利用反向传播算法对动态手势识别网络模型的所有权重参数进行更新和优化，以获得优化更新后的动态手势识别网络模型；

对更新后的动态手势识别网络模型进行迭代训练，直到损失函数达到最小值，得到迭代训练或的动态手势识别网络模型；

利用测试集对迭代训练后的动态手势识别网络模型进行识别准确率验证，直到识别准确率达到最优为止，获得训练好的动态手势识别网络模型。

8.一种基于时间移位框架的动态手势识别系统，其特征在于，包括如下功能模块：

数据采集模块，用于采集动态手势视频样本,对动态手势视频样本进行标注并制作动态手势图像数据集；

网络构建模块，用于构建动态手势识别网络模型，所述动态手势识别网络模型的基础网络为残差网络，所述残差网络中包含注意力模块和时间移位模块，所述注意力模块用于优化残差块提取得到的中间特征，所述时间移位模块用于对每层残差块之间的注意力特征进行时间维度建模融合；

网络训练模块，用于利用动态手势图像数据集对动态手势识别网络模型进行训练；

检测识别模块，用于采用训练完成的动态手势识别网络模型对动态手势视频进行检测识别。

9.一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于时间移位框架的动态手势识别方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于时间移位框架的动态手势识别方法的步骤。