[发明专利]面向虚拟现实的协同渲染方法

说明书

技术领域

本发明属于虚拟现实技术领域，特别涉及一种面向虚拟现实的协同渲染方法。

背景技术

虚拟现实(Virtual Reality，以下简称VR)，旨在利用计算机视觉、传感等技术及专门的硬件设备，给用户呈现逼真的虚拟环境和颠覆性的交互体验。随着相关技术的成熟，国内外各大公司(诸如Facebook、Google、HTC等)也纷纷进入VR领域，推出自己的VR系统。当下主流的VR系统通常都由三个关键的部件组成：头戴式显示器、传感器和渲染器。为了能够提供沉浸式的虚拟现实体验，VR系统需要利用传感器不断追踪、接收用户的姿势信息(包括位置和方向信息)。根据不同的姿势信息，渲染器将实时地渲染出相应视角的画面并在头戴式显示器上以双眼畸变的形式显示。

目前主流的商业级VR系统分为两大类：连线型和移动型。连线型VR系统，将复杂的渲染、计算工作交给强大的主机，然后通过高速数据线(HDMI等)将主机渲染的每一帧图像传给单独的头戴式显示器。另一类移动型VR系统则摒弃了主机和数据线，将智能手机自身的GPU和显示屏分别作为渲染器和头戴式显示器来提供沉浸式VR体验。VR系统特殊的工作流程以及头戴式显示器所引入的近眼显示都给系统带来了巨大的计算和渲染开销。为了使用户能够舒适地体验各种VR应用，VR系统通常需要满足下面三个性能和特征需求。

1)响应性：VR系统的端到端延迟需要小于10–25毫秒，过高的端到端延迟将使用户在体验过程中出现眩晕等不适症状；

2)高质量的视觉效果：为了营造逼真的虚拟环境，VR系统需要提供照片级真实感的高质量画面，同时每秒帧刷新率也至少需要达到60来保证流畅的体验；

3)移动性：VR系统复杂的渲染、计算工作通常可以在强大的主机上完成，这时头戴式显示器通常需要连接HDMI数据线来传输好几个Gbps级别的数据量，也就是连线型VR系统。但这样的方式也极大地降低了用户体验(例如用户容易被数据线绊倒)，因此如何提供具备移动性的VR系统也是至关重要的。

目前两类主流的VR系统均无法满足以上三个相互矛盾的性能和特征需求。连线型VR系统虽然能够提供很好的响应性和高质量的视觉效果，但却无法提供必要的移动性。移动型VR虽然在移动性上有先天的优势，但由于手机上较弱的渲染能力和电池容量，他们往往无法同时满足前两个基本的性能需求。与此同时，目前的无线数据传输技术也无法直接替代高速数据线来支撑VR应用所需的几个Gbps的带宽和极低的端到端延迟。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种面向虚拟现实的协同渲染方法，基于云计算，使移动型VR系统能够同时满足VR系统的三个性能和特征需求，可针对移动型VR系统在移动设备(智能手机)上提供高质量的沉浸式虚拟现实体验。

为了实现上述目的，本发明采用的技术方案是：

一种面向虚拟现实的协同渲染方法，包括如下步骤：

首先，将VR应用的内容拆分成动态交互内容和静态环境内容两个部分；

其次，利用手机本身的GPU实时地根据用户输入渲染、显示所述动态交互内容；利用云端的服务器渲染所述静态环境内容；

最后，手机在运行VR应用时，向服务器请求已渲染的静态环境内容，并与本地渲染好的动态交互内容在客户端进行叠加、组合得到最终VR应用的画面。

所述动态交互内容主要包括会根据用户的输入而发生改变的一些物体，它们的模型规模相对较小、渲染纹理相对简单，但是需要实时响应用户的输入；所述静态环境内容是构成整个虚拟环境的主要成分，它们的模型规模相对庞大、渲染纹理相对复杂，但是通常只随着用户在虚拟空间内的移动才发生连续性的改变和更新。

在虚拟现实场景下，通过如下步骤实现：

步骤(1)，将目标VR应用的3D渲染模型拆分成两部分：交互模型和环境模型，分别对应VR应用的动态交互内容和静态环境内容；

步骤(2)，服务器端加载VR应用的环境模型，并按固定间隔在模型空间中可到达的范围内遍历取点，对于每一个采样点，服务器都渲染出一张全景图，并以采样点对应三维位置信息作为其索引存储在服务器端；

步骤(3)，客户端实时追踪、接收用户的姿势信息，客户端利用位置信息向服务器请求、获取对应位置的全景图；

步骤(4)，客户端实时追踪、接收用户的交互信息，客户端根据交互信息利用手机的GPU实时渲染出动态交互内容；