[发明专利]基于互联网照片集的多视角立体重构方法

说明书

技术领域

本发明属于计算机视觉领域，具体地说，是一种基于互联网照片集的多视角立体重构方法。

背景技术

随着数码相机和互联网的普及，人们拍摄了大量的室外场景照片，并上传到照片共享网站，构成了海量的互联网照片集。它们的优点包括：覆盖面广，几乎涵盖了全世界的建筑、雕塑等名胜古迹；往往有大量不同的照片反映同一场景在不同的视点、时间(一年四季，一天从早到晚)、光照条件(阴天、晴天等)下场景的不同外观(appearance)；获取成本很低，例如从Google上可以搜索到超过2万张天安门，近万张天坛的高分辨率照片。但另一方面这些照片在拍摄时的光照条件没经过测量，使用的相机没经过标定，分辨率大小不一，许多包含杂乱的遮挡等问题，为其使用带来了新的挑战。为了挖掘和利用现有照片中的信息，降低数据采集成本，丰富用于室外场景建模的数据来源，方便、快捷地构造虚拟场景，近年来，基于互联网图像集的室外场景建模技术逐渐成为计算机图形学和计算机视觉领域的一个研究热点，国内外的研究人员在这方面开展了一系列的研究，提出了许多不同的策略和算法。

多视角立体方法(Multi-View Stereo，MVS)，即利用从多个视角拍摄的同一场景的多幅照片来构造其三维模型。但传统的多视角立体方法是基于序列图像集或者视频。

光度立体(photometric stereo)方法，即利用在固定视点、不同光照条件下拍摄的多幅场景图像中像素的亮度变化，求解物体表面法向量，进而重建三维模型。传统光度立体方法往往需要使用可控或已知的方向光源，因而不适用于互联网照片。

发明内容

本发明的目的是提供一种基于互联网照片集的稠密三维几何模型的重构方法，以从互联网上获取的同一场景的多幅图像为输入图像集合，使用已有的同时恢复场景和几何运动的方法计算相机的参数且恢复场景的稀疏三维点，以每个稀疏的三维点为种子点，采用图像筛选的方法为每一个种子点计算一个图像子集，然后采用区域生长的方法向种子点的邻域方向扩充估计新的三维点，以上述计算得到的图像子集为基础对新的三维点进行优化，最后进一步检测优化后的三维点，剔除误差较大的点，最后得到稠密的三维点云模型。

为达到上述目的，本发明提出一种基于互联网照片集的立体重构方法，具体的做法如下：

1)从互联网上搜索从不同角度拍摄的某一场景的多幅图像，搜索结果作为输入图像集合。

2)利用同时恢复场景的几何和运动的方法，提取并匹配图像的特征点，利用特征点对相机进行标定得到相机的参数矩阵，同时恢复场景的稀疏三维点云。

3)图像筛选，为每幅输入图像选择最近邻图像集合，为每个稀疏三维点选择一幅参考图像。

4)区域生长，每次从当前的三维点中选择置信度最高的三维点为种子点，向其邻域方向生长，估算新的三维点并优化。对优化后的三维点进一步检测，剔除误差较大的三维点，得到更精确的三维点。

上述技术方案中，步骤2)中，相机参数和稀疏三维点云采用Snavely 2006提出的同时恢复场景的几何和运动(Structure from motion，Sfm)的方法计算得到。

上述技术方案中，步骤3)中，包括图像之间相似性的度量，每个三维点参考图像的选择。

两幅图像相似性的度量依据三个标准：尽可能多的特征匹配点；尽可能宽的基线；尽可能相容的尺度。每个三维点参考图像的选择准则为：相机的视线方向与三维点的法线方向的夹角尽可能小，即相机的视线方向尽可能的垂直三维点。

上述技术方案中，步骤4)中区域生长是每次选择置信度最高的三维点为种子点，以种子点为中心，估算邻域点的三维点信息并优化，基于深度变化连续性的假设，过滤掉误差较大的三维点。

本发明的优点在于：

1、图像筛选避免了大量的冗余计算，使得模型的生成速度加快。

2、提供了一种过滤方法，剔除误差较大的三维点，提高了模型的精确度。

附图说明

图1示出本发明的实施流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细说明。

本发明的主要流程图如图1所示，首先从互联网上获取从不同角度拍摄的同一场景的多幅图片，以该图像集作为输入图像集合，最终重构出场景的几何模型。具体步骤如下：