[发明专利]手语翻译方法、基于MR的手语-语音交互方法及系统

权利要求书

1.一种手语翻译方法，其特征在于，包括如下步骤：

(1)获取手语动作的RGB-D图像；

(2)提取出RGB-D图像中的手势特征信息，所述手势特征信息为手部各关节点在各时刻的特征旋转矩阵；

(3)将手势特征信息与预设的手势特征翻译模型进行匹配；

(4)将手势特征翻译模型匹配的手语释义按照时间序列组合作为翻译结果。

2.根据权利要求1所述的手语翻译方法，其特征在于，步骤(3)中所述预设的手势特征翻译模型通过如下方法建立：

(3.1)获取大量手语的RGB-D图像样本；

(3.2)提取出RGB-D图像样本中的手势特征信息；

(3.3)标定手势特征信息对应的手语释义；

(3.4)使用深度学习算法训练手势特征信息与手语释义对应的手势特征翻译模型。

3.一种基于MR的手语-语音交互方法，其特征在于，包括：

采集手语使用者手语的RGB-D图像，使用权利要求1或2的手语翻译方法进行翻译；

采集语音使用者的语音并翻译为文本信息；

构建虚拟场景，建立手语使用者及语音使用者的虚拟人物模型；

虚拟场景中手语使用者的虚拟人物模型将手语释义朗读为音频，语音使用者的虚拟人物模型将语音释义对应的手语动作进行演示。

4.根据权利要求3所述的基于MR的手语-语音交互方法，其特征在于，所述建立手语使用者及语音使用者的虚拟人物模型的方法为：

采集使用者的RGB-D图像，建立使用者的彩色点云模型；

使用TSDF方法进行模型表面重建和平滑，完成虚拟人物的建立。

5.根据权利要求3所述的基于MR的手语-语音交互方法，其特征在于，所述构建虚拟场景为构建平面虚拟场景或构建3D虚拟场景；构建3D虚拟场景的方法为：采集选定场景的RGB-D图像，获取R GB-D图像的3D点云信息，利用3D点云信息建立各使用者视角的MR虚拟场景。

6.根据权利要求3所述的基于MR的手语-语音交互方法，其特征在于，所述语音使用者的虚拟人物模型将语音释义对应的手语动作进行演示的方法为：

制作各会话语句对应手语动作的视频模型；

获取虚拟人物模型的头像模型并将其设置在手语动作的视频模型中。

7.根据权利要求3所述的基于MR的手语-语音交互方法，其特征在于，语音使用者可选择是否键入文字以校正由语音翻译的文本信息；语音使用者可选择是否直接键入文字以替代语音翻译。

8.根据权利要求3所述的基于MR的手语-语音交互方法，其特征在于，还包括：采集交互过程中手语翻译得到的手语释义信息和语音翻译得到的文本信息，标记各信息的发出者，并按照时间顺序形成纪录存储。

9.一种基于MR的手语-语音交互系统，其特征在于，包括处理终端以及与之通信连接的手语使用者客户端及语音使用者客户端；

所述手语使用者客户端包括用于获取手语动作的RGB-D图像的3D体感摄像头、用于显示的显示器；

语音使用者客户端包括用于采集语音的麦克风、用于播放语音的扬声器、用于显示的显示器；

所述处理模块用于构建虚拟场景，建立手语使用者及语音使用者的虚拟人物模型、翻译手语使用者客户端的手语动作并传输至语音使用者客户端播放翻译后朗读的音频、采集语音使用者的语音并翻译为文本信息、生成语音使用者虚拟人物模型将语音释义对应的手语动作进行演示的画面并传输至语音使用者客户端显示。

10.根据权利要求9所述的基于MR的手语-语音交互系统，其特征在于，还包括3D场景摄像头，用于为构建虚拟场景采集选定场景的RGB-D图像。