[发明专利]一种被动触觉反馈的混合现实交互系统

权利要求书

1.一种被动触觉反馈的混合现实交互系统，其特征在于，包括标准化输入模块、中央处理模块、标准化输出模块、驱动模块、虚实融合模块、类人机器人以及增强现实头盔显示器；

所述标准化输入模块包括语音识别单元和表情识别单元；其中语音识别单元将用户语音数据转化为计算机可识别的文本数据，表情识别单元将用户表情画面转化为计算机可识别的用户表情数据；

所述中央处理模块包括智能对话单元和情感计算单元；其中智能对话单元接收语音识别单元输出的文本数据，并根据文本数据生成文本文字形式的虚拟人的回答，情感计算单元接收表情识别单元输出的用户表情数据，并根据用户表情数据生成虚拟人当前的情绪数据；其中，虚拟人当前的情绪数据为愉悦、悲伤、愤怒、惊讶、恐惧以及厌恶六种基本情绪的强度值；

所述标准化输出模块包括语音合成单元、口型编码单元、表情编码单元以及行为编码单元，其中语音合成单元和口型编码单元接收智能对话单元输出的文本文字，表情编码单元和行为编码单元接收情感计算单元输出的情绪数据；

所述语音合成单元将文本文字合成语音，作为混合现实交互系统的听觉输出；

所述口型编码单元根据协同发音的规律，得到文本文字中每个汉字的发音里各个可视化发音音素的口型和权重，并对所述口型和权重一一进行编码，得到各个汉字对应的口型编码；

所述表情编码单元基于面部表情编码系统，将虚拟人当前情绪数据中的六种基本情绪的强度值乘以一个预设的转换系数，将所述强度值转换为六种基本情绪表情的权重，并将该权重作为虚拟人的表情编码；

所述行为编码单元根据虚拟人的情绪数据与类人机器人行为的预定义映射关系，对类人机器人行为进行行为编码；

所述驱动模块包括口型动画单元、表情动画单元以及电机控制单元；其中口型动画单元接收口型编码单元输出的口型编码，表情动画单元接收表情编码单元输出的表情编码，电机控制单元接收行为编码单元输出的行为编码；

所述口型动画单元和表情动画单元采用混合变形的方式控制预先构建的人脸模型进行变形，具体的，所述人脸模型是具有10种口型变形形状和6种基本情绪变形形状的模型，其中每种变形形状对应一个混合权重参数，且混合权重参数决定人脸模型由无表情变形为对应形状的形变程度，口型动画单元根据口型编码控制口型变形形状对应的混合权重参数，表情动画单元根据表情编码控制基本情绪变形形状的混合权重参数；混合现实交互系统引擎依据16个混合权重参数对人脸模型进行变形，并将预先获取的人脸贴图应用在变形后的人脸模型上，最后将完成贴图后的人脸模型渲染成虚拟形象；

所述电机控制单元通过接收的所述行为编码，控制类人机器人的电机，驱动类人机器人进行动作，以此给用户提供被动力反馈，作为混合现实交互系统的触觉输出；

虚实融合模块将用户手部的画面和类人机器人的画面渲染在增强现实头盔显示器的显示画面中，并根据用户与类人机器人的位姿关系将所述虚拟形象叠加在显示画面中类人机器人的头部位置，最终得到混合现实交互系统的视觉输出。

2.如权利要求1所述的一种被动触觉反馈的混合现实交互系统，其特征在于，所述位姿关系通过RGB摄像机拍摄类人机器人头部的三维标志点计算得到。

3.如权利要求1所述的一种被动触觉反馈的混合现实交互系统，其特征在于，所述语音识别单元和智能对话单元分别使用科大讯飞语音引擎完成语音识别功能和智能对话功能。

4.如权利要求1所述的一种被动触觉反馈的混合现实交互系统，其特征在于，所述表情识别单元使用Intel实感摄像机的表情识别SDK实现表情识别。

5.如权利要求1所述的一种被动触觉反馈的混合现实交互系统，其特征在于，根据第二深度摄像机捕捉得到的用户手部信息确定所述用户手部在空间中的位置，以此去除虚拟形象对用户手部的遮挡。

6.如权利要求1所述的一种被动触觉反馈的混合现实交互系统，其特征在于，所述情感计算单元根据多层情感空间模型来计算外部刺激、之前时刻的情感残留以及性格对虚拟人情绪的影响，从而将用户表情数据生成虚拟人当前的情绪数据。