[发明专利]基于神经网络模型的手语识别方法、装置、设备及介质

权利要求书

1.一种基于神经网络模型的手语识别方法，其特征在于，包括：

获取拍摄装置采集到的用户输入的待识别的手语信息，所述手语信息包括转换方式手语信息和待识别手语信息，所述转换方式手语信息用于指示识别手语的语言方式；

将所述手语信息输入预训练的手语识别模型，得到所述转换方式手语信息对应的第一手语语义文本信息以及所述待识别手语信息对应的第二手语语义文本信息；

根据所述第一手语语义文本信息确定所述转换方式手语信息对应的目标语言方式，所述目标语言方式包括语音、文字、手语中的一种或多种；

根据确定的所述目标语言方式将所述第二手语语义文本信息转换为与所述目标语言方式对应的语音、文字、手语中的一种或多种，得到手语识别结果。

2.根据权利要求1所述的方法，其特征在于，所述手语信息包括手语视频；所述获取拍摄装置采集到的用户输入的待识别的手语信息，包括：

获取拍摄装置采集到的所述用户输入的多帧手势图像；

当从多帧所述手势图像中检测到第一结束手势图像时，确定所述第一结束手势图像之前的各帧所述手势图像组成的第一手语视频为转换方式手语信息；

当检测到第二结束手势图像时，确定所述第一结束手势图像与所述第二结束手势图像之间的各帧所述手势图像组成的第二手语视频为待识别手语信息。

3.根据权利要求2所述的方法，其特征在于，所述将所述手语信息输入预训练的手语识别模型，得到所述转换方式手语信息对应的第一手语语义文本信息以及所述待识别手语信息的第二手语语义文本信息，包括：

提取所述第一手语视频中各帧所述手势图像的第一手势特征以及所述第二手语视频中各帧所述手势图像的第二手势特征；

将各个第一手势特征进行融合处理得到融合处理后的第一手势特征信息，以及将各个第二手势特征进行融合处理得到融合处理后的第二手势特征信息；

将所述第一手势特征信息和所述第二手势特征信息输入所述预训练的手语识别模型，得到所述转换方式手语信息对应的第一手语语义文本信息以及所述待识别手语信息的第二手语语义文本信息。

4.根据权利要求3所述的方法，其特征在于，所述提取所述第一手语视频中各帧所述手势图像的第一手势特征以及所述第二手语视频中各帧所述手势图像的第二手势特征，包括：

将所述第一手语视频中各帧所述手势图像和所述第二手语视频中各帧所述手势图像输入预训练的关键点检测模型，得到各个所述手势图像的关键点的位置信息；

根据各个所述手势图像的关键点的位置信息确定各个关键点之间的位置关系；

根据各个所述关键点之间的位置关系确定所述第一手语视频中各帧所述手势图像的第一手势特征以及所述第二手语视频中各帧所述手势图像的第二手势特征。

5.根据权利要求3所述的方法，其特征在于，所述将各个第一手势特征进行融合处理得到融合处理后的第一手势特征信息，以及将各个第二手势特征进行融合处理得到融合处理后的第二手势特征信息，包括：

将各个第一手势特征进行相加处理，并对两两第一手势特征相加处理得到的各个结果求平均值，得到所述第一手势特征信息；以及，

将各个第二手势特征进行相加处理，并对两两第二手势特征相加处理得到的各个结果求平均值，得到所述第二手势特征信息。