[发明专利]一种手语视频翻译模型的训练方法、翻译方法及系统

权利要求书

1.一种手语视频翻译模型的训练方法，其特征在于，包括以下步骤：

步骤1：获取待识别的孤立词手语视频数据，建立手语孤立词数据集；

步骤2：对数据集中的手语视频数据进行预处理，提取手语视频中人物区域，去除背景干扰；所述对数据集中的手语视频数据进行预处理，提取手语视频中人物区域的方法为选择占据画面中心的人体图像作为训练样本，用HOG算法提取人体图像中的对象特征，并将所提取的对象特征利用SVM中进行分类训练，得到训练好的提取模型，将待识别的孤立词手语视频送入训练好的提取模型中进行人体检测，提取出人物区域；

步骤3：利用Mask R-CNN网络模型对所提取的人物区域中的人手进行检测，进行手部分割并提取手部区域，使用第一网络模块对所提取的手部区域进行特征分类，提取手部特征；

步骤4：使用第二网络模块对所提取的人物区域进行特征分类，提取人体特征；

步骤5：将所提取的手部特征与人体特征利用全连接层进行特征信息融合，训练得到孤立词的权重模型；

步骤6：将所得到孤立词的权重模型作为第三网络模块的预训练模型，并利用第三网络模块对连续语句视频进行特征提取，得到若干个手语词识别结果；

步骤7：将手语词识别结果，输入Seq2Seq模型中进行训练，得到训练好的手语视频翻译模型。

2.根据权利要求1所述的一种手语视频翻译模型的训练方法，其特征在于，步骤3中，在利用Mask R-CNN网络模型检测手部区域时，若某一帧检测失败，则利用跟踪算法跟踪前一帧检测成功的模型，并利用前一帧检测成功的模型对跟踪算法进行初始化。

3.根据权利要求2所述的一种手语视频翻译模型的训练方法，其特征在于，所述跟踪算法采用HOG特征与颜色直方图组合的跟踪算法。

4.根据权利要求3所述的一种手语视频翻译模型的训练方法，其特征在于，步骤3，利用Mask R-CNN网络模型对所提取的人物区域中的人手进行检测前，需对Mask R-CNN网络模型进行训练，包括以下子步骤：

步骤3.1：利用COCO数据集对Mask R-CNN网络模型进行预训练，得到预训练好的MaskR-CNN网络模型；

步骤3.2：从中国手语数据集中随机抽取若干帧手语图像，并标注出手部区域位置；

步骤3.3：将标注好的手语图像送入预训练好的Mask R-CNN网络模型中，对网络模型进行微调，得到训练好的Mask R-CNN网络模型。

5.根据权利要求1所述的一种手语视频翻译模型的训练方法，其特征在于，步骤6中：在利用第三网络模块对连续语句手语视频进行特征提取前，将连续语句手语视频分割成若干个片段，每个片段包括16帧视频，且相邻的片段有50％重叠。

6.根据权利要求1所述的一种手语视频翻译模型的训练方法，其特征在于，第一网络模块、第二网络模块和第三网络模块均为I3D或C3D网络。

7.一种手语视频翻译方法，其特征在于，采用权利要求1-6任一项所述的训练方法训练手语翻译模型，包括以下步骤：

步骤A：获取待翻译的手语视频；

步骤B：对手语视频进行预处理，提取视频中的人物区域；

步骤C：利用训练好的Mask R-CNN网络模型对所提取的人物区域中的人手进行检测，进行手部分割并提取手部区域，并使用训练好的第一网络模块对提取的手部区域进行特征分类，提取手部特征；

步骤D：使用训练好的第二网络模块对所提取的人物区域进行特征分类，提取人体特征；

步骤E：将所提取的手部特征与人体特征利用全连接层进行特征信息融合，输出词组特征向量；

步骤F：将所得词组特征向量输入训练好的Seq2Seq模型中，输出手语翻译结果。

8.根据权利要求7所述的一种手语视频翻译方法，其特征在于，步骤B中，对视频进行预处理，提取视频中的人物区域的方法为：用HOG算法提取人体图像中的对象特征，并将所提取的对象特征利用训练好的SVM模型中进行提取，得到人物区域。