[发明专利]基于神经网络模型的手语识别方法、装置、设备及介质

说明书

本发明实施例涉及人工智能领域，公开了一种基于神经网络模型的手语识别方法、装置、设备及介质，该方法包括：获取拍摄装置采集到的用户输入的待识别的手语信息，手语信息包括转换方式手语信息和待识别手语信息；将手语信息输入预训练的手语识别模型，得到转换方式手语信息对应的第一手语语义文本信息以及待识别手语信息对应的第二手语语义文本信息；根据第一手语语义文本信息确定转换方式手语信息对应的目标语言方式；将第二手语语义文本信息转换为与目标语言方式对应的语音、文字、手语中的一种或多种，实现了对手语的高效、智能化识别，提高了手语识别的灵活性。本发明涉及区块链技术，如可将手语信息写入区块链中，以用于数据取证等场景。

技术领域

本发明涉及人工智能领域，尤其涉及一种基于神经网络模型的手语识别方法、装置、设备及介质。

背景技术

目前，市面上存在各类关于手语识别的应用程序(application，app)，只不过这些app的受众应该都是那些需要使用手语或者需要懂手语又或者只是对手语感兴趣的人才会接触，但在实际生活的某些场景中，不懂手语的用户也需要实时地和只能通过手语表达的人士交流，并且这个是大概率的事件。然而，由于不同的用户精通不同的语言或语言方式，现有的关于手语识别的app翻译的手语不一定满足一些用户的语言需求，也就是说，对于一些用户来说可能听不懂或看不懂现有app翻译的语言。例如，假设不懂手语的用户只懂法文，而关于手语识别的app将手语用户的手语翻译成了中文，从而导致不懂手语的用户不懂该app翻译的内容，不懂对方的手语在表达什么，造成无效沟通。因此，如何满足不同用户对手语识别的不同需求，实现对手语的高效、智能化识别，提高手语识别的灵活性成为研究的重点。

发明内容

本发明实施例提供了一种基于神经网络模型的手语识别方法、装置、设备及介质，实现了根据不同用户的需求将手语转换为对应的语言方式，满足了用户对手语识别的不同需求，实现了对手语的高效、智能化识别，提高了手语识别的灵活性。

第一方面，本发明实施例提供了一种基于神经网络模型的手语识别方法，包括：

获取拍摄装置采集到的用户输入的待识别的手语信息，所述手语信息包括转换方式手语信息和待识别手语信息，所述转换方式手语信息用于指示识别手语的语言方式；

将所述手语信息输入预训练的手语识别模型，得到所述转换方式手语信息对应的第一手语语义文本信息以及所述待识别手语信息对应的第二手语语义文本信息；

根据所述第一手语语义文本信息确定所述转换方式手语信息对应的目标语言方式，所述目标语言方式包括语音、文字、手语中的一种或多种；

根据确定的所述目标语言方式将所述第二手语语义文本信息转换为与所述目标语言方式对应的语音、文字、手语中的一种或多种，得到手语识别结果。

进一步地，所述手语信息包括手语视频；所述获取拍摄装置采集到的用户输入的待识别的手语信息，包括：

获取拍摄装置采集到的所述用户输入的多帧手势图像；

当从多帧所述手势图像中检测到第一结束手势图像时，确定所述第一结束手势图像之前的各帧所述手势图像组成的第一手语视频为转换方式手语信息；

当检测到第二结束手势图像时，确定所述第一结束手势图像与所述第二结束手势图像之间的各帧所述手势图像组成的第二手语视频为待识别手语信息。

进一步地，所述将所述手语信息输入预训练的手语识别模型，得到所述转换方式手语信息对应的第一手语语义文本信息以及所述待识别手语信息的第二手语语义文本信息，包括：

提取所述第一手语视频中各帧所述手势图像的第一手势特征以及所述第二手语视频中各帧所述手势图像的第二手势特征；

将各个第一手势特征进行融合处理得到融合处理后的第一手势特征信息，以及将各个第二手势特征进行融合处理得到融合处理后的第二手势特征信息；