[发明专利]一种被动触觉反馈的混合现实交互系统

摘要

本发明提供了一种具有被动触觉反馈的混合现实交互系统的低成本解决方案，利用类人机器人作为虚拟人的躯干，使用逼真的人脸模型制作虚拟形象，并将虚拟形象准确的叠加在类人机器人的头部，通过虚拟形象增强类人机器人的面部细节，提升机器人外貌，并以这样一个虚实结合的形象与用户进行交互，相较于无躯干人的虚拟形象，为用户提供了被动触觉力反馈，大幅提升虚拟人真实感，增强虚拟人系统的交互体验；同时，本发明相较于具有被动力反馈的虚拟人“U‑Tsu‑Shi‑O‑Mi”，不使用专用的硬件跟踪设备，使用基于三维标志点的跟踪方式跟踪注册虚拟形象的位置，并利用RGB摄像头，实现虚实融合，节省了跟踪成本。

主权项

1.一种被动触觉反馈的混合现实交互系统，其特征在于，包括标准化输入模块、中央处理模块、标准化输出模块、驱动模块、虚实融合模块、类人机器人以及增强现实头盔显示器；所述标准化输入模块包括语音识别单元和表情识别单元；其中语音识别单元将用户语音数据转化为计算机可识别的文本数据，表情识别单元将用户表情画面转化为计算机可识别的用户表情数据；所述中央处理模块包括智能对话单元和情感计算单元；其中智能对话单元接收语音识别单元输出的文本数据，并根据文本数据生成文本文字形式的虚拟人的回答，情感计算单元接收表情识别单元输出的用户表情数据，并根据用户表情数据生成虚拟人当前的情绪数据；其中，虚拟人当前的情绪数据为愉悦、悲伤、愤怒、惊讶、恐惧以及厌恶六种基本情绪的强度值；所述标准化输出模块包括语音合成单元、口型编码单元、表情编码单元以及行为编码单元，其中语音合成单元和口型编码单元接收智能对话单元输出的文本文字，表情编码单元和行为编码单元接收情感计算单元输出的情绪数据；所述语音合成单元将文本文字合成语音，作为混合现实交互系统的听觉输出；所述口型编码单元根据协同发音的规律，得到文本文字中每个汉字的发音里各个可视化发音音素的口型和权重，并对所述口型和权重一一进行编码，得到各个汉字对应的口型编码；所述表情编码单元基于面部表情编码系统，将虚拟人当前情绪数据中的六种基本情绪的强度值乘以一个预设的转换系数，将所述强度值转换为六种基本情绪表情的权重，并将该权重作为虚拟人的表情编码；所述行为编码单元根据虚拟人的情绪数据与类人机器人行为的预定义映射关系，对类人机器人行为进行行为编码；所述驱动模块包括口型动画单元、表情动画单元以及电机控制单元；其中口型动画单元接收口型编码单元输出的口型编码，表情动画单元接收表情编码单元输出的表情编码，电机控制单元接收行为编码单元输出的行为编码；所述口型动画单元和表情动画单元采用混合变形的方式控制预先构建的人脸模型进行变形，具体的，所述人脸模型是具有10种口型变形形状和6种基本情绪变形形状的模型，其中每种变形形状对应一个混合权重参数，且混合权重参数决定人脸模型由无表情变形为对应形状的形变程度，口型动画单元根据口型编码控制口型变形形状对应的混合权重参数，表情动画单元根据表情编码控制基本情绪变形形状的混合权重参数；混合现实交互系统引擎依据16个混合权重参数对人脸模型进行变形，并将预先获取的人脸贴图应用在变形后的人脸模型上，最后将完成贴图后的人脸模型渲染成虚拟形象；所述电机控制单元通过接收的所述行为编码，控制类人机器人的电机，驱动类人机器人进行动作，以此给用户提供被动力反馈，作为混合现实交互系统的触觉输出；虚实融合模块将用户手部的画面和类人机器人的画面渲染在增强现实头盔显示器的显示画面中，并根据用户与类人机器人的位姿关系将所述虚拟形象叠加在显示画面中类人机器人的头部位置，最终得到混合现实交互系统的视觉输出。