[发明专利]基于空间索引立方体全景视频的虚拟场景漫游方法及其系统

说明书

技术领域

本发明涉及一种虚拟场景漫游方法及其系统，具体说是一种基于空间索引立方体全景视频的虚拟场景漫游方法及其系统。 

背景技术

虚拟场景漫游系统通常采用三维几何及其纹理信息来描述场景中的物体，利用类似视频游戏中的算法对场景进行实时绘制。这类系统需要大量繁琐的人工交互来完成三维模型的几何简化和纹理优化，以达到减少数据量，实现实时绘制的目的。简化表示牺牲了模型的精确性，从而降低了绘制图像的质量。另外，当前的个人计算机(PC)和三维图形卡的处理能力仍有限，高质量的真实感图形生成技术，如光线跟踪、辐射度等，仍无法应用于虚拟场景漫游系统。因此构建高质量的虚拟场景漫游系统仍非常困难。 

与上述基于显示几何表示的绘制系统不同，基于图像的绘制系统(Image-Based Rendering Systems)以预先采集的图像序列作为输入。IBR系统利用输入的采样图像序列对全光函数进行重建。通过对重建的全光函数进行重新采样生成新视点位置的图像。与本发明最接近的工作是FX Palo Alto实验室的FlyAbout系统(FlyAbout：Spatially Indexed Panoramic Video.In Proceedings ofACM Multimedia 2001)。FlyAbout系统是一种基于图像的绘制系统，它以真实场景中获取的空间索引柱面全景视频为输入。全景视频的空间索引信息，即全景视频采集时相机的三维空间位置和朝向等信息，是通过后期图像处理技术和全球定位系统(GPS)获得。由于相机设计的局限性，该系统只处理柱面全景视频。柱面全景视频不能覆盖用户垂直可视区域的全部，通常会遗漏天空和地面位置处的景物。然而，在实际的漫游系统中，用户通常要求观看这些被遗漏的景物。更糟糕的是，利用现有全球定位系统(GPS)和图像后处理算法所获得的空间索引信息的精度不能保证在可控的误差范围之内。因此，利用该系统对 真实场景进行绘制时经常会出现画面抖动现象。系统采用MOTION JPEG(MJPEG)对柱面全景图序列进行压缩编码，然而现有三维图形卡并不支持该压缩算法。因此系统首先对全景视频进行解压缩，然后用CPU对解码的图像进行变换操作完成场景绘制。只利用CPU而没有充分利用三维图像卡的计算能力极大地限制了图像的绘制速度。 

发明内容

本发明的目的在于提供一种基于空间索引立方体全景视频的虚拟场景漫游方法及其系统，从而达到虚拟场景高质量漫游。 

本发明所提供的一种基于空间索引立方体全景视频的虚拟场景漫游方法，包括下列步骤： 

(一)空间索引立方体全景视频获取 

首先指定用户在虚拟场景中可游览的一条路径，并利用现有三维软件工具，在路径采样点位置采用立方体环境映照绘制全景图像； 

立方体环境映照序列则构成了立方体全景视频，并利用三维软件工具提供的脚本语言进行编程来获取每幅全景图所对应的空间索引信息； 

由立方体全景视频和相应的空间索引信息获得空间索引立方体全景视频； 

(二)空间索引立方体全景视频压缩与绘制 

首先对单独的立方体全景图进行压缩，压缩的立方体全景图序列形成压缩的立方体全景视频； 

将压缩的视频数据和空间索引信息合并形成压缩的空间索引立方体全景视频； 

绘制时首先根据用户当前的视点位置和视线方向计算所需的立方体全景视频数据； 

然后读取所需数据并将它作为纹理映射到虚拟立方体表面； 

通过三维图形编程接口，利用图形硬件对该立方体进行绘制； 

通过改变视线方向，用户可观看立方体环境映照所对应空间位置处的所有景物； 

通过改变视点位置来更新环境映照实现虚拟漫游； 

(三)形成漫游系统 

首先指定用户在虚拟场景中可游览的N条路径，且指定的路径彼此衔接构成漫游地图； 

用户沿场景地图中规定的路径漫游； 

若达到路径端点且遇到交叉路口，系统可自动选取与用户视角方向夹角最小的路径为新路径； 

同时，用户可沿某条路径向前、向后、向左和向右观看，还可向上和向下观看。 

本发明还提供了一种基于空间索引立方体全景视频的虚拟场景漫游系统，其特征在于：包括运动控制引擎单元、分别与该运动控制引擎单元相连的全景视频绘制单元、声音绘制单元、地图绘制单元和文本显示单元，其中：