[发明专利]手语翻译方法、基于MR的手语-语音交互方法及系统

说明书

本发明公开了一种手语翻译方法、基于MR的手语‑语音交互方法及系统，采集手语使用者手语的RGB‑D图像进行翻译，虚拟场景中手语使用者的虚拟人物模型将手语释义朗读为音频，语音使用者的虚拟人物模型将语音释义对应的手语动作进行演示。本发明对手语动作实现实时翻译，并可使用该翻译方法与语音使用者进行交互，可应用在多种场景，尤其在医患交流场景中，能够实现医患使用自己熟悉的语言方式进行无障碍交流，提高了诊疗效率，增强了双方的体验，MR技术展现手语翻译之后的医患交流场景，达到聋哑患者医患交流的完美效果。且利用深度学习技术训练模型可使得手语翻译系统更加精确。

技术领域

本发明涉及MR技术，尤其是一种手语翻译方法、基于MR的手语-语音交互方法及系统。

背景技术

手语作为一种可视化语言，它主要靠手及手臂的运动姿态辅以适当的表情和口型来表达语意，是聋哑患者与外界交流的重要途径。据最新资料统计，我国聋哑患者数量达到2057万人，占人口总数的1.67％，而我国医院配置的手语医护人员非常稀缺，因此聋哑患者就医不便，常常耽误病情诊断。如何提升聋哑患者的生活品质，使他们更好的融入社会，是国家重点研究的一个课题。

随着MR技术及深度学习技术的进一步发展，特别是3DCamera对三维手势的捕捉，使用手语翻译更加精确和流畅，利用MR技术构造面对面的交互系统，利用深度学习训练手语的医患翻译系统，实现聋哑患者正常的医患交流。

发明内容

发明目的：针对上述现有技术存在的缺陷，本发明旨在提供一种基于MR的手语医患交互系统。

技术方案：一种手语翻译方法，包括如下步骤：

(1)获取手语动作的RGB-D图像；

(2)提取出RGB-D图像中的手势特征信息，所述手势特征信息为手部各关节点在各时刻的特征旋转矩阵；

(3)将手势特征信息与预设的手势特征翻译模型进行匹配；

(4)将手势特征翻译模型匹配的手语释义按照时间序列组合作为翻译结果。

进一步的，步骤(3)中所述预设的手势特征翻译模型通过如下方法建立：

(3.1)获取大量手语的RGB-D图像样本；

(3.2)提取出RGB-D图像样本中的手势特征信息；

(3.3)标定手势特征信息对应的手语释义；

(3.4)使用深度学习算法训练手势特征信息与手语释义对应的手势特征翻译模型。

一种基于MR的手语-语音交互方法，包括：

采集手语使用者手语的RGB-D图像，使用前述手语翻译方法进行翻译；

采集语音使用者的语音并翻译为文本信息；

构建虚拟场景，建立手语使用者及语音使用者的虚拟人物模型；

虚拟场景中手语使用者的虚拟人物模型将手语释义朗读为音频，语音使用者的虚拟人物模型将语音释义对应的手语动作进行演示。

进一步的，所述建立手语使用者及语音使用者的虚拟人物模型的方法为：

采集使用者的RGB-D图像，建立使用者的彩色点云模型；

使用TSDF方法进行模型表面重建和平滑，完成虚拟人物的建立。

进一步的，所述构建虚拟场景为构建平面虚拟场景或构建3D虚拟场景；构建3D虚拟场景的方法为：采集选定场景的RGB-D图像，获取R GB-D图像的3D点云信息，利用3D点云信息建立各使用者视角的MR虚拟场景。