[发明专利]一种基于全景图的全景虚拟游方法

说明书

技术领域

本发明属于虚拟现实领域，具体涉及利用图像处理技术进行全景图的拼接和浏览。

背景技术

通过互联网或其他载体，将旅游景观动态且逼真地呈现在旅游者面前，让旅游者根据自己的意愿选择游览路线、速度及视点，足不出户就可以游览远在万里之遥的风光美景，这便是虚拟旅游。三维引擎作为实现虚拟旅游体验的一种重要方式，它的主要作用是在计算机上创造出一个虚拟的旅游环境。通过与该虚拟环境的交互体验，人们可以在个人计算机上进入一个虚拟的旅游景点，并在虚拟景观中进行实时地浏览。

目前，利用计算机视觉技术的虚拟游方法主要有以下两种：

1.利用网页超文本链接、图片、视频等描述能力制作而成的虚拟游。这种方法实现简单，运行维护成本低。但有特色不鲜明、吸引力不高、用户印象难以加深等缺点。随着互联网信息的大量充斥，这种方式的虚拟游已经被渐渐淹没在数以亿计的网页中，难以获得良好的体验效果。

2.利用三维建模技术制作而成的虚拟游。随着三维计算机视觉技术的不断成熟，出现了许多支持三维建模的软件平台，如OpenGL、DirectX等，越来越多的计算机视觉应用引入了三维建模的技术来进行真实世界的模拟，同时基于三维建模技术制作的虚拟游应用也应运而生。与第1种方法相比，这种方法具有网页图片无可比拟的立体感。但是由于目前三维建模的局限性，这种方法的真实感还是比较欠缺，同时由于数据量大，实时处理要求高，对计算机的性能也提出了巨大的考验。

本发明基于三维计算机视觉技术，提出了一种利用全景图进行虚拟游的方法。

发明内容

本发明的目的在于提出一种虚拟游技术，结合计算机视觉、数字图像处理等相关技术，该方法精度较高，且效率较好。本发明的技术方案具体是这样实现的：

1.全景图拼接生成；

2.对生成的全景图进行去除黑边处理；

3.将生成的全景图输入全景浏览器进行浏览。

本发明有以下一些技术特征：

(1)步骤1具体包括特征提取、特征匹配、去除误配、参数求解、图像映射融合等几个步骤，在各个步骤中采用了SIFT、k-d tree、RANSAC、Bundle Adjustment等算法，并根据需求对相关算法进行了改进；

(2)步骤2所述的黑边是用矩形照片拼接生成全景图后产生的；

(3)步骤3所述的全景图浏览器实现了从球面坐标系到平面坐标系的反映射；

本发明提出了一种基于全景图的虚拟游方法，方法切实可行，对相关问题的方案设计及算法选择有一定的借鉴意义。

附图说明

图1为全景图拼接流程；

图2为基于SIFT特征匹配的全景图拼接流程；

图3为尺度轨迹；

图4为SIFT特征提取算法流程图；

图5为DoG尺度空间局部极值检测；

图6为由梯度方向直方图确定主梯度方向；

图7为由关键点邻域梯度信息生成特征向量；

图8为RANSAC算法基本思想；

图9为LMA参数优化算法流程；

图10为全景图浏览工作流程。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实例对本发明做进一步地详细说明。

1.全景图的拼接

全景图像的拼接是指利用照相机的平移或旋转得到的部分重叠的图像样本，生成一个较大的甚至360度的全方位图像的场景绘制方法。即给定某个真实场景的一组局部图像，然后对这一组图像进行拼接，生成包含这组局部图像的新视图。图1是图像拼接的基本流程。

目前全景图基本可分为柱面、球面、立方体等形式，以球面全景图效果最好，最适合相机参数模型的视觉转换而普遍采用。全景图的拼接一般有以下几个步骤：

●先将从真实世界中拍摄的一组照片以一定方式投影到统一的空间面中，空间面有立方体、圆柱体和球体表面等，这样这组照片就具有统一的参数空间坐标；

●在这个统一的空间面对相邻图像进行比较，以确定可匹配的区域位置；

●将图像重叠区域进行融合处理，拼接成全景图。

图2为全景图拼接生成总体流程。

图像匹配：在全景图的构建中，相邻图像重叠范围的确定即图像匹配是最为关键的一步，一般的方法都是根据图像序列中相邻两幅图像的重叠区域的相似性来实现，有直接方法和基于特征的方法等。

1.1SIFT特征提取

1.1.1图像多尺度表示

二维高斯函数定义如下：