[发明专利]一种跨语种的手语翻译方法、装置和移动设备

说明书

本申请公开了一种跨语言的手语翻译方法、装置和移动设备，具体为获取操第一语言的人的第一手语视频；利用基于第一语言的手语文本翻译模型对手语视频进行识别，得到与第一手语视频相匹配的第一语言文本；利用预先训练的文本翻译模型对第一语言文本进行翻译，得到第二语言文本。由于这里的第二语言文本是与第一手语视频相匹配的，从而可以使操第一语言的人做出的手语动作转换为第二语言的语言文本，从而使操一种语言的人也能够理解操另一种语言的人做出的手语表达，从而促进了聋哑人的交流。

技术领域

本申请涉及人工智能技术领域，更具体地说，涉及一种跨语种的手语翻译方法、装置和移动设备。

背景技术

手语是聋哑人的重要交流手段，然而因为地域和文化的差异，不同国家或地区的手语是有所区别的，这种差别与自然语言之间的差异很类似，从而对不同国家或地区的聋哑人之间的交流造成了一定的障碍。

发明内容

有鉴于此，本申请提供一种跨语种的手语翻译方法、装置和移动设备，用于对不同语种区域的手语进行翻译，以促进聋哑人之间的交流。

为了实现上述目的，现提出的方案如下：

一种跨语种的手语翻译方法，包括步骤：

获取操第一语言的人的第一手语视频；

利用基于所述第一语言的手语文本翻译模型对所述手语视频进行识别，得到与所述第一手语视频相匹配的第一语言文本；

利用预先训练的文本翻译模型对所述第一语言文本进行翻译，得到第二语言文本。

可选的，包括步骤：

获取操所述第一语音的手语视频集和与所述手语视频集相匹配的手语文本序列；

对所述手语视频集中手部姿态和上肢姿态进行估计，得到手语动作序列；

利用所述手语文本序列和所述手语动作序列对进行模型训练，得到所述手语文本翻译模型。

可选的，所述手部姿态包括手部各关节的角度；

所述上肢姿态包括上肢的各关节的角度。

可选的，所述手语文本翻译模型为双向模型。

可选的，还包括步骤：

利用预先训练好的文本手语翻译模型对所述第二语言文本进行翻译，得到与第二语言文本对应的第二手语视频。

一种跨语种的手语翻译装置，包括：

第一获取模块，用于获取操第一语言的人的第一手语视频；

第一翻译模块，用于利用基于所述第一语言的手语文本翻译模型对所述手语视频进行识别，得到与所述第一手语视频相匹配的第一语言文本；

第二翻译模块，用于利用预先训练的文本翻译模型对所述第一语言文本进行翻译，得到第二语言文本。

可选的，包括：

第二获取模块，用于获取操所述第一语音的手语视频集和与所述手语视频集相匹配的手语文本序列；

姿态估计模块，用于对所述手语视频集中手部姿态和上肢姿态进行估计，得到手语动作序列；

模型训练模块，用于利用所述手语文本序列和所述手语动作序列对进行模型训练，得到所述手语文本翻译模型。

可选的，所述手部姿态包括手部各关节的角度；

所述上肢姿态包括上肢的各关节的角度。

可选的，所述手语文本翻译模型为双向模型。

可选的，还包括：