[发明专利]一种跨语种的手语翻译方法、装置和移动设备在审
| 申请号： | 201811092150.4 | 申请日： | 2018-09-19 |
| 公开（公告）号： | CN109214347A | 公开（公告）日： | 2019-01-15 |
| 发明（设计）人： | 蔡颖鹏;陈希 | 申请（专利权）人： | 北京因时机器人科技有限公司 |
| 主分类号： | G06K9/00 | 分类号： | G06K9/00;G06F17/28 |
| 代理公司： | 北京集佳知识产权代理有限公司 11227 | 代理人： | 张忠魁;王宝筠 |
| 地址： | 100080 北京市海淀区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 语言文本 语言 手语视频 手语翻译 文本翻译 移动设备 手语 匹配 动作转换 手语表达 语种 视频 翻译 申请 交流 | ||
1.一种跨语种的手语翻译方法，其特征在于，包括步骤：
获取操第一语言的人的第一手语视频；
利用基于所述第一语言的手语文本翻译模型对所述手语视频进行识别，得到与所述第一手语视频相匹配的第一语言文本；
利用预先训练的文本翻译模型对所述第一语言文本进行翻译，得到第二语言文本。
2.如权利要求1所述的手语翻译方法，其特征在于，包括步骤：
获取操所述第一语音的手语视频集和与所述手语视频集相匹配的手语文本序列；
对所述手语视频集中手部姿态和上肢姿态进行估计，得到手语动作序列；
利用所述手语文本序列和所述手语动作序列对进行模型训练，得到所述手语文本翻译模型。
3.如权利要求2所述的手语翻译方法，其特征在于，所述手部姿态包括手部各关节的角度；
所述上肢姿态包括上肢的各关节的角度。
4.如权利要求1所述的手语翻译方法，其特征在于，所述手语文本翻译模型为双向模型。
5.如权利要求1所述的手语翻译方法，其特征在于，还包括步骤：
利用预先训练好的文本手语翻译模型对所述第二语言文本进行翻译，得到与第二语言文本对应的第二手语视频。
6.一种跨语种的手语翻译装置，其特征在于，包括：
第一获取模块，用于获取操第一语言的人的第一手语视频；
第一翻译模块，用于利用基于所述第一语言的手语文本翻译模型对所述手语视频进行识别，得到与所述第一手语视频相匹配的第一语言文本；
第二翻译模块，用于利用预先训练的文本翻译模型对所述第一语言文本进行翻译，得到第二语言文本。
7.如权利要求6所述的手语翻译装置，其特征在于，包括：
第二获取模块，用于获取操所述第一语音的手语视频集和与所述手语视频集相匹配的手语文本序列；
姿态估计模块，用于对所述手语视频集中手部姿态和上肢姿态进行估计，得到手语动作序列；
模型训练模块，用于利用所述手语文本序列和所述手语动作序列对进行模型训练，得到所述手语文本翻译模型。
8.如权利要求7所述的手语翻译装置，其特征在于，所述手部姿态包括手部各关节的角度；
所述上肢姿态包括上肢的各关节的角度。
9.如权利要求6所述的手语翻译装置，其特征在于，所述手语文本翻译模型为双向模型。
10.如权利要求6所述的手语翻译装置，其特征在于，还包括：
第三翻译模块，用于利用预先训练好的文本手语翻译模型对所述第二语言文本进行翻译，得到与第二语言文本对应的第二手语视频。
11.一种移动设备，其特征在于，设置有如权利要求6～10任一项所述的手语翻译装置。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京因时机器人科技有限公司，未经北京因时机器人科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201811092150.4/1.html，转载请声明来源钻瓜专利网。
