[发明专利]一种基于混合现实的复杂设备高风险项目训练系统

说明书

本发明公开了一种基于混合现实的复杂设备高风险项目训练系统，包括复杂设备、服务器、混合现实设备、控制器和无线路由器；服务器与混合现实设备通过无线路由器进行网络连接；复杂设备由实装训练部分和控制台组成；服务器采用三维建模工具构建与实装训练部分相同的虚拟三维模型，解算虚拟三维模型的空间定位和运动信息，并通过无线网络与混合现实设备进行通讯。本发明将传统实装训练成本较高的部分全息虚拟化，成本较低的部分实物化，具有良好的操作性且沉浸感高，设备简单便携不易受外界环境干扰，能够在室内空间进行大型设备的高风险项目训练，降低了训练成本，提升了体验感和训练效果。

技术领域

本发明属于人机交互领域技术领域，具体涉及一种基于混合现实的复杂设备高风险项目训练系统。

背景技术

混合现实技术(MR)提供了一种全新的沉浸式虚拟信息显示与交互的支撑手段，是在增强现实技术(AR)上的进一步发展，更加强调用户可视化环境中真实世界和虚拟世界、物理实体和虚拟信息融合的真实性和实时性。该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。

一般来说，对于大型设备诸如吊车、装填车等的操作训练，直接在实装上训练存在一定的风险，在训练过程中有可能发生不可预测的意外事故，这样会对设备造成损坏，重则导致操作员受伤，且因为占用较大的物理空间须在室外进行，极易受到外界环境因素的干扰，因此在这些领域往往运用虚拟仿真训练。传统的纯虚拟仿真或半实物仿真都具有局限性，虚拟仿真(如VR)虚拟环境虽然较为真实，但与现实的割裂感强，操作体验较差，难以达到预期的训练效果；半实物仿真用户在观察视角上具有很大的局限性，只能看到部分固定角度的视角；在交互方面，VR虚拟仿真多采用与显示设备相配套的控制手柄来映射交互功能，与真正的实装操作有存在一定的差距，影响了训练效果；而半实物仿真训练虽然操作更为真实，但是交互方式单一，训练较为枯燥，且无法在训练的过程中进行智能化的提示和引导。因此，有必要发明一种简单易操作、交互方式多元化、高沉浸感训练体验的训练系统，以提高大型复杂设备高风险项目训练的效率和效果。

发明内容

为了解决上述问题，本发明的目的是提出一种基于混合现实的复杂设备高风险项目训练系统，本发明建立复杂设备的虚拟三维仿真模型并投影在混合现实眼镜中，控制台采用实物，通过识别控制台的机械支撑平台、控制台上的标志使虚拟模型与真实物体精密配合达到虚实融合的效果，且等比大小的虚拟模型可以从不同的角度、方位观看，提高了训练人员的操作感和沉浸感；且交互方式多元化，操作更加简单，提升了操作效率和训练效果。

为了达到上述目的，本发明采用以下技术方案予以解决。

一种基于混合现实的复杂设备高风险项目训练系统，包括复杂设备、服务器、混合现实设备、控制器和无线路由器；所述服务器与混合现实设备通过无线路由器进行网络连接；所述复杂设备由实装训练部分和控制台组成；

所述服务器采用三维建模工具构建与实装训练部分相同的虚拟三维模型，解算虚拟三维模型的空间定位和运动信息，并通过无线网络与混合现实设备进行通讯；

所述混合现实设备接收虚拟三维模型及其空间定位和运动信息，并对其进行投影显示，以与佩戴用户进行交互；

佩戴用户通过控制操作台、手势或语音的方式与虚拟三维模型进行交互；

所述控制台固定于训练场地上，且其上贴有标志图片；通过在服务器中设置虚拟三维模型与标志图片的位置关系，使得当混合现实设备读取到控制台上的标志图片，即可实现虚拟三维模型显示位置与控制台实际位置的配合，进而实现虚实融合；

所述控制台通过驱动将佩戴用户的操作信号传输至服务器，服务器对该操作进行解算后，生成新的空间定位和运动信息，反馈至混合现实设备进行投影显示。

进一步地，所述混合现实设备包含存储器、处理器、图像采集器和声音采集器；