[发明专利]一种基于图像与扫描数据的混合三维重建方法

说明书

技术领域

本发明涉及计算机视觉领域，具体涉及一种真实场景的三维重建方法。

背景技术

精确的三维几何模型在虚拟现实、数字城市、地形勘测、数字娱乐、城市设计规划等诸多领域都有着广泛的应用。三维场景重建中最常用的两种方法是基于激光扫描数据的主动方法和基于二维图像或视频序列的被动方法。激光扫描仪直接测量高精度的三维数据集，并且对环境光不敏感，随着仪器设备的发展得到越来越多的关注。但是，数据采集费时费力，可靠的颜色信息一般不能同时获取，且在玻璃、深色表面以及遮挡区域的原始数据也很不可靠。而基于图像的方法数据采集简易灵活，能很容易获取足够多的数据覆盖整个场景，并且彩色照片可同时用于纹理映射。但由于存在相机标定和立体匹配这两个经典难题，很难单独完成复杂场景的建模。

因此，为了精确建立物理世界的真实感三维模型，复杂场景的三维重建需要结合若干不同种类的数据，尤其是3D扫描数据与2D图像数据，即采用基于图像与扫描数据的混合三维重建。我们不难发现两者有着很好的互补性，若能融合两种数据取长补短，不仅可以降低重建难度也可以提高三维重建的质量。

一方面，图像信息可以用来提高三维数据的质量。除了颜色信息外，可以恢复额外的三维数据点。比如，根据临近象素点对应的三维坐标在颜色信息的引导下插值得到新的三维顶点；利用图像数据对应特征像素点的三角化来修正初始的相机标定，一旦获得可靠的标定结果，将匹配得到的对应象素点三角化添加到原始三维数据中；考虑到深度的不连续往往同时引起颜色的不连续，有相关工作用多分辨率的马尔科夫随机场将图像和深度数据联系起来生成高分辨率、低噪声的深度图像；图像信息同样也可以辅助三维数据上几何特征的抽取。

另一方面，很多工作独立地从两种数据源分别生成几何模型，然后再融合到一起。很多大型文化遗址场景的三维重建就是这样融合多种技术来完成三维重建。他们用基于图像的方法获取基本形状以及整体结构，用激光扫描仪获取带有丰富细节如雕刻的表面，同时结合基于图像的绘制方法来表现背景环境等视差变化不显著的区域。

混合重建，即结合不同传感器数据来完成场景三维建模，是一个很具有挑战性的技术领域。理想的融合方式需要能让两种数据都能对最终的结果发挥自身最大的贡献。目前为止，还难以设计出一个适用于不同实际场景的通用的融合框架。

发明内容

本发明的目的是针对建筑物场景而设计的一种融合多视图像和扫描数据的三维重建方法。该方法充分发掘两类数据的互补特性，利用方便获取的图像数据来恢复激光扫描仪未能获取的信息，同时扫描数据保证几何精确度并为立体图像的匹配提供场景结构信息。这样的重建方法不仅简化了数据采集，同时除二维图像和扫描数据之间的配准外不需任何人工干预，模型生成与处理也变得更为易行。

为了达到上述发明目的，本发明提供了一种基于图像与扫描数据的混合三维重建方法，所述方法包括以下步骤：

S1：将三维扫描数据分割为一系列点集，平面拟合所得点集；

S2：将属于每一个空间平面的三维点分别投影到两幅图像上，拟合对应于该空间平面的视差层；

S3：通过立体匹配找出主图像中各个像素点所属的空间平面；

S4：在扫描数据缺失区域添加三维顶点，得到最终的网络模型。

其中，所述方法在步骤S1之前还包括步骤：

SA：对二维图像和扫描数据进行配准，选取对应的三维点和像素点，求出相机内参数以及对应于扫描数据的旋转平移参数；以及

SB：对立体图像进行极线校正，并记录校正之后的相机内外参数。

其中，所述方法的步骤S1中，将三维扫描数据分割为一系列点集之后，先合并共面的点集，并去掉不可靠的点集，然后再平面拟合所得点集。

其中，所述不可靠的点集为顶点数目少于一定阈值的点集。

其中，所述步骤S2中采用迭代的最小二乘方法进行拟合。

其中，所述步骤S3采用“将图像块分割为颜色块，并计算每个颜色块所属视差平面”的方法完成。

其中，通过建立并求解能量函数计算每个颜色块所属视差平面。

其中，所述能量函数为数据项E_data与平滑项E_smooth之和：

E(f)＝E_data(f)+E_smooth(f)