[发明专利]一种基于混合现实的复杂设备高风险项目训练系统

权利要求书

1.一种基于混合现实的复杂设备高风险项目训练系统，其特征在于，包括复杂设备、服务器、混合现实设备、控制器和无线路由器；所述服务器与混合现实设备通过无线路由器进行网络连接；所述复杂设备由实装训练部分和控制台组成；

所述服务器采用三维建模工具构建与实装训练部分相同的虚拟三维模型，解算虚拟三维模型的空间定位和运动信息，并通过无线网络与混合现实设备进行通讯；

所述混合现实设备接收虚拟三维模型及其空间定位和运动信息，并对其进行投影显示，以与佩戴用户进行交互；

佩戴用户通过控制操作台、手势或语音的方式与虚拟三维模型进行交互；

所述控制台固定于训练场地上，且其上贴有标志图片；通过在服务器中设置虚拟三维模型与标志图片的位置关系，使得当混合现实设备读取到控制台上的标志图片，即可实现虚拟三维模型显示位置与控制台实际位置的配合，进而实现虚实融合；

所述控制台通过驱动将佩戴用户的操作信号传输至服务器，服务器对该操作进行解算后，生成新的空间定位和运动信息，反馈至混合现实设备进行投影显示。

2.根据权利要求1所述的基于混合现实的复杂设备高风险项目训练系统，其特征在于，所述混合现实设备包含存储器、处理器、图像采集器和声音采集器；

所述图像采集器用于采集佩戴用户的手势指令，并将采集到的手势指令数据实时同步至服务器；

所述声音采集器用于采集佩戴用户的语音指令；并将采集到的语音指令数据实时同步至服务器；

所述处理器用于将服务器传来的交互信息解析成虚拟三维模型运动相对应的指令信息，并控制虚拟三维模型根据该指令信息进行对应运动；

所述存储器将训练时模型的运动状态信息记录并保存。

3.根据权利要求1所述的基于混合现实的复杂设备高风险项目训练系统，其特征在于，所述采用三维建模工具构建与实装训练部分相同的虚拟三维模型，解算虚拟三维模型的空间定位和运动信息，其具体为：

首先，利用Rhino的3DS Max模型构建实装训练部分的各部件；

其次，通过分析实装训练部分的各部件之间的运动依赖关系，设置实装训练部分的各部件之间的父子嵌套关系，进而构建整个三维虚拟装填模型运动场景树；

最后，采用以Unity 3D为核心的三维仿真渲染引擎，用Unity Shader着色器对模型表面进行纹理渲染，得到虚拟三维模型。

4.根据权利要求3所述的基于混合现实的复杂设备高风险项目训练系统，其特征在于，所述利用Rhino的3DS Max模型构建实装训练部分的各部件，其采用网格建模、面片建模和/或NURBS建模；其中，对于外表看起来坚硬且细节较少的部位采用网格建模；对于表面光滑的、有组织的部位采用面片建模和/或NURBS建模。

5.根据权利要求1所述的基于混合现实的复杂设备高风险项目训练系统，其特征在于，所述构建虚拟三维模型为利用室内SLAM标定法将虚拟三维模型的空间坐标位置绝对化，并确定以该虚拟三维模型为参照的统一世界坐标系。

6.根据权利要求5所述的基于混合现实的复杂设备高风险项目训练系统，其特征在于，所述服务器与多个混合现实设备进行通讯，每个混合现实设备与服务器形成一对一通讯；多个混合现实设备间具有相同的认知层级。

7.根据权利要求6所述的基于混合现实的复杂设备高风险项目训练系统，其特征在于，在服务器-混合现实设备的一对一通讯模式中引入host域内消息一致性检测，即在多个混合现实设备间加入实时信息同步机制。