[发明专利]一种被动触觉反馈的混合现实交互系统

说明书

本发明提供了一种具有被动触觉反馈的混合现实交互系统的低成本解决方案，利用类人机器人作为虚拟人的躯干，使用逼真的人脸模型制作虚拟形象，并将虚拟形象准确的叠加在类人机器人的头部，通过虚拟形象增强类人机器人的面部细节，提升机器人外貌，并以这样一个虚实结合的形象与用户进行交互，相较于无躯干人的虚拟形象，为用户提供了被动触觉力反馈，大幅提升虚拟人真实感，增强虚拟人系统的交互体验；同时，本发明相较于具有被动力反馈的虚拟人“U‑Tsu‑Shi‑O‑Mi”，不使用专用的硬件跟踪设备，使用基于三维标志点的跟踪方式跟踪注册虚拟形象的位置，并利用RGB摄像头，实现虚实融合，节省了跟踪成本。

技术领域

本发明属于陪伴机器人、交互类技能训练、心理舒缓等虚拟人应用领域，尤其涉及一种被动触觉反馈的混合现实交互系统。

背景技术

目前，虚拟人系统绝大多不具备被动力反馈，市面上虚拟人U-Tsu-Shi-O-Mi 属于为数不多的具备被动力反馈的虚拟人系统之一。U-Tsu-Shi-O-Mi虚拟人系统使用扣绿技术将虚拟形象叠加在绿色皮肤的类人机器人上，使用固定在头盔显示器上的光学追踪器跟踪用户相对于类人机器人的位置，从而调整虚拟形象呈现在头盔显示器中的角度，使用关节跟踪器跟踪类人机器人形态，从而改变虚拟形象形态。U-Tsu-Shi-O-Mi实现增强现实效果的方式分为两个部分：扣绿和用户头部位置跟踪，但该方案的虚实融合效果不佳，虚拟形象边缘与真实场景具有明显分界线；需要使用大量传感器、跟踪器等硬件设备辅助计算机器人和用户的相对位置、机器形态，成本较高。

发明内容

为解决上述问题，本发明提供一种被动触觉反馈的混合现实交互系统。本发明通过增强现实技术将虚拟形象与类人机器人进行融合，通过虚拟形象增强类人机器人的面部细节，提升机器人外貌，通过机器人提供被动触觉力反馈，增强虚拟人系统的交互体验。

一种被动触觉反馈的混合现实交互系统，包括标准化输入模块、中央处理模块、标准化输出模块、驱动模块、虚实融合模块、类人机器人以及增强现实头盔显示器；

所述标准化输入模块包括语音识别单元和表情识别单元；其中语音识别单元将用户语音数据转化为计算机可识别的文本数据，表情识别单元将用户表情画面转化为计算机可识别的用户表情数据；

所述中央处理模块包括智能对话单元和情感计算单元；其中智能对话单元接收语音识别单元输出的文本数据，并根据文本数据生成文本文字形式的虚拟人的回答，情感计算单元接收表情识别单元输出的用户表情数据，并根据用户表情数据生成虚拟人当前的情绪数据；其中，虚拟人当前的情绪数据为愉悦、悲伤、愤怒、惊讶、恐惧以及厌恶六种基本情绪的强度值；

所述标准化输出模块包括语音合成单元、口型编码单元、表情编码单元以及行为编码单元，其中语音合成单元和口型编码单元接收智能对话单元输出的文本文字，表情编码单元和行为编码单元接收情感计算单元输出的情绪数据；

所述语音合成单元将文本文字合成语音，作为混合现实交互系统的听觉输出；

所述口型编码单元根据协同发音的规律，得到文本文字中每个汉字的发音里各个可视化发音音素的口型和权重，并对所述口型和权重一一进行编码，得到各个汉字对应的口型编码；

所述表情编码单元基于面部表情编码系统，将虚拟人当前情绪数据中的六种基本情绪的强度值乘以一个预设的转换系数，将所述强度值转换为六种基本情绪表情的权重，并将该权重作为虚拟人的表情编码；

所述行为编码单元根据虚拟人的情绪数据与类人机器人行为的预定义映射关系，对类人机器人行为进行行为编码；

所述驱动模块包括口型动画单元、表情动画单元以及电机控制单元；其中口型动画单元接收口型编码单元输出的口型编码，表情动画单元接收表情编码单元输出的表情编码，电机控制单元接收行为编码单元输出的行为编码；