[发明专利]一种基于情感化身的混合现实协同系统

说明书

一种基于情感化身的混合现实协同系统，其包括A系统、B系统和服务器，A系统和B系统结构相同，其均包括采集模块、客户端和HMD设备；其中A系统包括用于采集A协同者动态信息的A采集模块、收集与发送动态信息的A客户端、用于渲染显示情感化身的AHMD设备；其中B系统包括用于采集B协同者动态信息的B采集模块、收集与发送动态信息的B客户端、用于渲染显示情感化身的BHMD设备,所述服务器位于A系统和B系统之间，用于数据的交换与处理。本系统使得协同者可以通过情感化身可以进行非语言沟通，提高了信息传递效率；同时提供了一种真实的交际手段，降低了协同者的认知负荷，有利于促进交流、降低任务难度、提高工作效率。

【技术领域】

本发明涉及混合现实技术领域，具体为一种基于情感化身的混合现实协同系统。

【背景技术】

远程协同技术可以有效帮助协同者跨越时空限制进行交流互动，使得协同者能够在无法亲临现场时进行协同作业。传统的远程协同系统多以文本、语音、视频传递信息。其表达方式不直观，指代不明容易造成误解，且信息传递效率低。

混合现实，简称MR，它制造的虚拟景象可以进入现实的生活同时能够认识你，比如通过我们的设备，你在眼睛当中看到一个景象可以测量出现实生活中物体的尺度和方位，其最大的特点在于虚拟世界和现实世界可以互动。

由此可见，提供一种基于情感化身的混合现实协同系统是本领域亟需解决问题。

【发明内容】

针对上述问题，本发明提供一种基于情感化身的混合现实协同系统，其包括A系统、B系统和服务器，A系统和B系统结构相同，其均包括采集模块、客户端和HMD设备；其中A系统包括用于采集A协同者动态信息的A采集模块、收集与发送动态信息的A客户端、用于渲染显示情感化身的A HMD设备；其中B系统包括用于采集B协同者动态信息的B采集模块、收集与发送动态信息的B客户端、用于渲染显示情感化身的B HMD设备,所述服务器位于A系统和B系统之间，用于数据的交换与处理。

进一步的，所述采集模块包括手势识别模块、眼动追踪模块、相机、面部表情识别模块、头部定位模块。

进一步的，所述基于情感化身的混合现实协同系统工作过程包括以下步骤：

步骤1：构建协同空间；

步骤2：获取手部信息；

步骤3：获取头部信息；

步骤4：获取眼动和面部表情信息；

步骤5：服务器构建情感化身；

步骤6：在客户端和HMD设备进行渲染显示。

进一步的，所述步骤2中，获取手部信息采用的是Leap motion设备，识别包括手掌、手指、关节、关节点、手腕、手臂位置，记录各关键点位置Position(x,y,z)和旋转Rotation(x,y,z,w)。

进一步的，所述步骤3中，获取头部信息记录头部位姿Ph，包括位置Position(x,y,z)和旋转Rotation(x,y,z,w)。

进一步的，所述步骤4中通过HTC Pro eye眼动追踪模块，获取包括瞳距、眼球位置信息；通过相机拍摄人体正面，采集图像，获取其余面部信息。

本发明基于情感化身的混合现实协同系统具有以下有益效果：

1.通过构建真人大小的情感化身，共享协同者的状态信息，如动作、行为、表情、眼神等，实现更自然、直观的非语言交流，反映的精神状态和情绪波动，增强用户体验，提高信息传递效率。

2.本系统使得协同者可以通过情感化身可以进行非语言沟通，提高了信息传递效率；同时提供了一种真实的交际手段，降低了协同者的认知负荷，有利于促进交流、降低任务难度、提高工作效率。