[发明专利]移动设备上实现分布式虚拟现实与可视化的方法及系统

说明书

技术领域

本发明涉及一种在移动设备上实现分布式虚拟现实与可视化的方法，属于虚拟现实与技术、图形与可视化技术、网络通信技术领域。

背景技术

当今社会，移动设备以及移动设备上的各种应用软件越来越普及。目前移动设备上的移动计算芯片如最新的嵌入式ARM架构的最新版本Cortex-A9版本，但是内存最高容量为512M，核心频率最高为2GHZ，但是其静态存储与动态能力以及计算性能与传统基于X86框架的计算机以及服务器都相去甚远，尤其该架构下GPU方面性能最为强劲的专用型号为Mali-T604，其参数为支持OpenGL ES 1.1/2.0，几何处理能力极限为每秒千万级别，像素填充率极限为每秒百兆级别，仅仅能够支持一些轻量级的3D数字娱乐，但在虚拟现实与可视化系统中一幅虚拟场景可能包含百万千万级的面片，还可能包含有大量的物理模型、矢量线画，或其他虚拟现实内容如光照、波浪、天空等，完成这些庞大数据的计算和绘制已远远超出移动设备的计算和绘制能力，而且如何存储这些海量数据也面临挑战。

因此目前的移动设备对一些高级的三维图形绘制和计算应用完全无能为力，更不要说针对具有海量图形数据(包含几何、纹理、影像等)的虚拟现实环境进行实时绘制和进行相关的可视化应用。

发明内容

针对移动设备上进行三维图形绘制、虚拟现实与可视化对计算能力和存储能力、三维图形处理能力的限制，本发明的目的在于提出了一种移动设备上实现虚拟现实与可视化功能的方法及系统。

在移动设备上的虚拟现实与可视化系统的计算功能、存储功能以及三维图形处理功能通过分布在虚拟现实与可视化高性能GPU集群服务器上来实现，而移动设备本身仅仅提供用户交互图形界面和交互功能、用户交互指令的解析与发送、虚拟现实与可视化绘制出的流媒体的接收和解码等功能，这对移动设备计算性能的要求很低，几乎只需具备显示图像的功能即可。这样整个虚拟现实及可视化应用的计算负载就几乎完全由GPU集群服务器来承担，GPU集群服务器负责完成整个虚拟现实计算与绘制的所有功能，并且负责接收和执行由移动设备发送来的用户控制指令，并将三维虚拟场景绘制的结果和可视化的结果压缩编码以流媒体为载体反馈给移动设备。依此框架我们开发出原型系统，测试结果表明，该系统实现了在移动设备上进行灵活自如的高效虚拟现实和可视化系统功能，远远超越单个移动设备所能够具备和完成计算和存储的功能，而交互控制也可达到实时。另外医学成像可视化：数字层析X射线照相组合，地球科学可视化：石油与天然气勘探，计算生物学：分子动力学模拟等一系列与可视化相关的应用也可以在此框架之下实现移动设备上的应用。数字地球系统研发和应用的业界领先者Google已经尝试按照现行模式将Google Map移植到移动设备上，推出了GoogleMap Mobile(谷歌地图手机版)，使用者可以使用移动设备如PocketPC平台下在线浏览全球影像，但是其实现架构与我们的方法完全不同。

本发明的技术方案为：

一种移动设备上实现分布式虚拟现实与可视化的方法，其步骤为：

1)建立移动设备和虚拟现实与可视化服务器的通信连接；其中，移动设备包括一用户图形界面和进行虚拟现实与可视化显示的客户端，虚拟现实与可视化服务器包括一虚拟现实与可视化系统；

2)移动设备通过所述用户图形界面接收交互操作请求命令，并将其解析为虚拟现实与可视化系统的交互命令；

3)移动设备将解析的交互命令打包成数据包发送给虚拟现实与可视化服务器；

4)虚拟现实与可视化服务器从数据包中解析出交互命令，并将其发送给所述虚拟现实与可视化系统；

5)虚拟现实与可视化系统根据交互命令执行相应的计算，然后进行虚拟绘制并将执行结果压缩编码为流媒体发送给移动设备；

6)移动设备对接收数据进行解码，显示虚拟场景与可视化结果。

进一步的，如果交互操作请求命令是所述用户图形界面的三维主窗口视图之外的命令，则虚拟现实与可视化服务器根据设定的图形界面命令消息响应函数解析该命令。

进一步的，如果交互操作请求命令是所述用户图形界面的三维主窗口视图之内的命令，其命令格式为二维视图的坐标，则虚拟现实与可视化服务器将该二维视图坐标格式命令映射为对应三维空间中的对象并根据在该窗口之内的动作前后关联，解析出对三维对象的操作动作命令。

进一步的，所述虚拟现实与可视化系统包括一并行虚拟绘制子系统；当本次所有虚拟现实与可视化计算任务完成之后，所述并行虚拟绘制子系统进行三维图形虚拟绘制。