[发明专利]一种现实与虚拟场景混合展现的方法及系统

说明书

技术领域

本发明涉及混合现实技术领域，特别是涉及一种现实与虚拟场景混合展现的方法及系统。

背景技术

现实与虚拟场景混合展现，是混合现实技术（Mix Reality-MR）的一种应用，而MR是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。目前虚拟世界的展现，因为技术及方法的关系，一般是按录制传统视频的方式展示，观众并不能实时了解虚拟世界中的真实情景。

因此，提出一种现实与虚拟场景混合展现的方法及系统，能够让玩家更加真实的体验虚拟世界，并在显示设备上，实时的呈现玩家和虚拟世界的实时互动图像，成为亟待解决的问题。

发明内容

为了解决现有技术存在的不足，本发明的目的在于提供一种现实与虚拟场景混合展现的方法及系统，能够让玩家更加真实的体验虚拟世界，并在显示设备上，实时的呈现玩家和虚拟世界的实时互动图像。

为实现上述目的，本发明提供的现实与虚拟场景混合展现的方法，包括以下步骤：

（1）将虚拟玩家与真实玩家的位置进行实时同步；（2）将真实摄像机的运动信息作为虚拟摄像机的运动信息；（3）虚拟背景主机实时接收真实摄像机的运动信息，驱动虚拟摄像机拍摄虚拟玩家在虚拟世界中的场景画面；（4）实时采集合成主机同时采集真实摄像机拍摄的真实玩家画面和虚拟摄像机拍摄的虚拟场景画面，合成现实与虚拟场景混合的实时画面。

所述步骤（1）进一步包括以下步骤：真实玩家通过VR设备与虚拟背景主机建立连接；将与真实玩家相对应的虚拟玩家在虚拟世界中的坐标信息实时上传给虚拟背景主机；将虚拟玩家与真实玩家的位置进行实时同步。

进一步地，步骤（2）所述将真实摄像机的运动信息作为虚拟摄像机的运动信息，是真实摄像机拍摄真实玩家的位移画面，同时通过定位装置定位真实摄像机的运动信息，用以作为虚拟摄像机的运动信息。

所述步骤（3）进一步包括步骤：运动捕捉设备实时收集虚拟摄像机的运动信息，并通过动捕数据中转设备发送给虚拟背景主机。

所述步骤（4）进一步包括步骤：实时采集合成主机在剔除真实玩家画面中的真实背景后，将真实玩家画面叠加到虚拟场景画面中，得到现实与虚拟场景混合的实时画面。

所述步骤（4）进一步还包括步骤：合成的现实与虚拟场景混合的实时画面做三屏同步，分别传送给画面合成监视器、摄影师监视器和电视机。

为实现上述目的，本发明提供的现实与虚拟场景混合展现的系统，包括：真实摄像机（201）、定位装置（202）、虚拟背景主机（205）、VR设备（206）、虚拟摄像机（207）及实时采集合成主机（208），其中，

所述VR设备（206），用于将与真实玩家相对应的虚拟玩家在虚拟世界中的坐标信息实时上传给所述虚拟背景主机（205）；所述真实摄像机（201），用于拍摄真实玩家的位移画面；所述定位装置（202），用于定位所述真实摄像机（201）的运动信息；所述虚拟背景主机（205），用于实时接收所述真实摄像机（201）的运动信息，并采用所述运动信息驱动所述虚拟摄像机（207）拍摄虚拟玩家在虚拟世界中的场景画面；所述实时采集合成主机（208），用于同时采集所述真实摄像机（201）拍摄的真实玩家画面和所述虚拟摄像机（207）拍摄的虚拟场景画面，合成现实与虚拟场景混合的实时画面。

进一步地，还包括：运动捕捉设备（203）及动捕数据中转设备（204），所述运动捕捉设备（203），用于实时收集虚拟摄像机的运动信息，并通过所述动捕数据中转设备（204）发送给所述虚拟背景主机（205）。

进一步地，还包括：画面合成监视器（209），所述画面合成监视器（209）用于通过合成的混合实时画面，监控实时采集合成主机合成现实与虚拟场景混合的实时画面。

进一步地，还包括：摄影师监视器（210），所述摄影师监视器（210）用于通过合成的混合实时画面，监控真实摄像机拍摄真实玩家的位移画面。

本发明的现实与虚拟场景混合展现的方法及系统，采用虚拟摄像机拍摄虚拟场景，真实摄像机拍摄绿幕环境中的真实玩家，两种实时视频信息通过实时采集抠像合成，然后回发给显示设备，在显示设备上呈现真实玩家和虚拟世界的实时互动图像。