[发明专利]一种基于虚拟现实混合的仿真实验室及其仿真方法

说明书

技术领域

本发明涉及虚拟仿真教学实训室领域，尤其涉及一种基于虚拟现实混合的仿真实验室及其仿真方法。

背景技术

在教学实训领域，轨道交通车辆制动教学是用于对学员进行培训，培养学员对轨道交通车辆制动单元结构特点的了解掌握，从而高效地、科学地进行学习；现有的轨道交通教学大多数采用书本内容结合教师的PPT等方式的教学，学习效率不高；另一方面实训基地因铁路轨道本身占地面积大、投入费用高、设置场景固定，很多实训场地无法投入建设，即使建设对应的实训基地，实训过程中无法实现根据需求更换场景或者交互，从而导致实训效果差。

为了解决这个问题，可以采用一种基于仿真教学实训室的裸眼3D沉浸式交互系统，具体包括：渲染主机，用于连接控制引擎和显示器件，且结合渲染引擎实现画面的渲染；渲染引擎，用于利用ventuz等软件实现融合和同步后，通过连接显示器件呈现裸眼3D画面；显示器件，用于通过与渲染主机连接后将渲染的画面显示；路由器，用于通过无线网卡连接渲染主机和控制引擎；控制引擎，用于连接路由器实现实时交互控制。但是在实际的应用中，裸眼3D沉浸式交互方法虽然有一定的好处，但是，体验者只能站在特定的位置才能体验到这种沉浸式的感官，对于旁观者，并不能体验到其中的场景。

在教学实训领域中，需要对体验者的训练情况进行评估，如果采用裸眼3D沉浸式交互系统，没有站在特定位置的评估者将无法对体验者的训练情况进行评估；因此，对于体验者的评估情况需要将体验者在VR眼镜中看到的画面传输到评估者能够看到的屏幕上，这样评估者能够看到VR体验者的动作以及体验者看到的实时画面，对VR体验者进行更加精准的评估。但是，由于VR眼镜的镜片是存在弧度的，现有的系统直接将VR体验者看到的画面传输到评估者所看到的屏幕上，画面会产生变形，评估者长时间观看，很容易产生眩晕。但是，目前并没有一种系统发现并解决这个问题。

发明内容

本发明的目的在于：为解决现有的裸眼3D沉浸式交互系统无法适用于教学实训领域中评估者对体验者进行评估，无法将仿真式实验室更好地应在教学领域中的问题，本发明提供一种稳定传输的基于虚拟现实混合的仿真实验室及其仿真方法。

本发明的技术方案如下：

一方面，本发明提供一种基于虚拟现实混合的仿真实验室，包括：

头显设备，用于体验者观看虚拟场景，并将所述虚拟场景传输给游戏场景渲染主机；

手柄，用于体验者与虚拟场景之间进行交互；

拍摄相机，用于拍摄戴有头显设备且位于绿背景中的体验者，并将拍摄的体验者的图像数据传输给渲染合成主机；

定位器，固定在拍摄相机上，用于追踪拍摄相机的位置信息，并将位置信息发送给游戏场景渲染主机；

游戏场景渲染主机，用于将虚拟场景拆分成平面图像，并将所述平面图像的数据传输给渲染合成主机；

视频采集盒，用于将游戏场景渲染主机中的平面图像的数据实时传输到渲染合成主机内部；

渲染合成主机，用于将所述平面图像的数据和拍摄相机拍摄的体验者的图像数据通过合成软件合成三维虚拟现实混合场景，并将三维虚拟显示场景的数据传输给观看屏幕；

显示设备，用于显示虚拟显示场景。

具体地，所述游戏场景渲染主机生成的平画图像包括前景、背景、通道。

优选地，所述渲染合成主机采用VENTUZ合成软件合成所述平面图像的数据和拍摄相机拍摄的体验者的图像数据。

具体地，所述显示设备为LED显示屏或者液晶显示屏。

具体地，所述渲染合成主机与显示设备之间通过HDMI接口或SDI接口连接。

另一方面，本发明提供一种基于虚拟现实混合的仿真实验室的仿真方法，包括如下步骤：

S1：将定位器固定在拍摄相机上，定位器用于获取拍摄相机的位置信息；

S2：体验者通过头显设备观看虚拟场景，通过手柄与虚拟场景之间进行交互，在虚拟场景中，建立虚拟拍摄相机，通过虚拟拍摄相机获取特定角度的虚拟场景；

S3：通过游戏场景渲染主机将特定视角的虚拟场景拆分成平面图像，并将这些平面图像传输给渲染合成主机；选取虚拟场景的视角根据定位器获取的拍摄相机的位置以及旋转角度的变化而变化；

S4：进行S3的同时，通过拍摄相机拍摄体验者图像，拍摄相机将体验者图像传输给渲染合成主机；

S5：渲染合成主机将游戏场景渲染主机传输的平面图像和拍摄相机拍摄的体验者图像合成三维虚拟现实混合场景，并将三维虚拟现实混合场景的图像传输给显示设备；

S6：显示设备将三维虚拟现实混合场景展示出来。