[发明专利]一种从多视图中得到人造场景主方向及图像边缘的方法

说明书

技术领域

本发明属于计算机视觉和计算机图形学领域，具体涉及三维稠密点云重建，图像边缘提取以及大规模优化领域。

背景技术

在计算机视觉领域，三维重建长期以来都是其中的核心问题，并在近年来取得了极大的进展。三维重建作为一个综合性极强的工程问题，涉及了计算机视觉和图形学领域的各个主要研究方向，包括计算几何、特征提取、特征匹配、正则化、表面重建和纹理映射等等方面，其本身也被广泛地运用在地质地貌研究、三维地图、虚拟现实、文物保护、医学诊断、自动导航、增强现实等重要的领域。

常用的三维重建方法可以分为主动式和被动式两种。主动式的三维重建主要通过某种特性已知的方式对目标进行投影，根据接收到信息与发射出信息之间的关系来计算深度，主要包括激光扫描、激光雷达、扫描线等方法。这类方法的缺陷在于设备昂贵且受空间约束很大，准确度与其利用的介质直接相关。被动式的三维重建则是通过普通的相机在不同的位置对目标进行采样，通过得到的二维图像进行重建。这类方法的适用性很强，且成本很低。除此之外，图像本身所包含的的颜色信息对于得到三维模型后的纹理映射过程也非常重要，这可以使最终的模型拥有更好的视觉效果。而主动式的重建方法则往往需要额外地拍摄照片并与模型配准，这一过程的效率很低而且往往包含误差，导致模型失真。

可是，由于直接获得的是二维信息，被动式的多视图重建过程难以避免地会遇到很强的歧义和不确定性。为了解决这些不确定性，各种先验通过归一化或优化的方式引入三维重建当中，最常见的就是表面光滑性约束。对于人造场景而言，这种约束导致的表面往往过于复杂，而在边缘和角点处又往往过于平滑，因此需要更强的约束。Manhattan-World是在场景重建中常用的约束方式，它假定了目标由三类朝向相互正交的平面构成。大多数的建筑都符合这样的约束，而少数满足条件的平面也可以通过更细小的平面的组合来拟合，故也保证了模型的通用性。而在这一约束框架下，图像消影点的识别是最关键的一个步骤。

图像的消影点对应了三维中的一族平行线，这些平行线的投影均经过其对应的消影点。在图像中识别消影点就意味着识别了三维空间中目标的三个主方向，这样就可以将重建的复杂度降低到一维，为更进一步的重建算法提供了强有力的约束。

消影点辨识最常用的方法是Hough变换和RANSAC（随机抽样一致性算法）来进行。其中基于Hough变换的方法受离散化程度的影响较大，同时很难加上正交的约束，因为三个主方向往往是依次生成的；而基于RANSAC的方法无法从理论上保证结果的最优性，且由于包含随机过程，其结果不是确定性的。除了上述两种方法之外，穷举和EM（Expectation&Maximization）方法也被运用在消影点辨识中，但是两种方法都受初始情况的影响很大，容易陷于局部极小。

辨识了消影点后，则需要辨识与消影点相一致的直线特征，这些直线包括了三维中各平面的相交线，可以形成这些平面的边缘，为模型提供简洁而准确的描述，因此非常重要。受点云重建精度和密度的约束，在三维空间中寻找这些直线是非常困难的，因此一般还是需要在图像上求取，在寻找其间的对应关系从而反投影到三维空间中确定其确切的位置。常用的边缘提取算法（包括Hough变换）无法保证结果满足消影点的约束，因此必须在其后进行进一步的筛选和裁剪，这就会导致边缘在连续性和直线性两方面难以兼备，即当筛选较为严格时只能保留很多间断的短边缘，而当筛选较为宽松时又无法保证边缘为与消影点一致的直线。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种更加准确的从多视图中得到人造场景主方向及图像边缘的方法。

为实现上述目的，本发明采用的技术方案：本发明仅依靠多幅普通图像通过标定和重建得到三维点云，对点云进行法向量的计算，在此基础上通过投票机制和均值漂移计算三个相互正交的主方向，然后将主方向投影到图像上形成消影点，最后结合双边滤波、局部Hough变换等技术提取出与主方向平行的直线边缘。

本发明提供一种从多视图中得到人造场景主方向及图像边缘的方法，包括如下步骤：

第一步，使用相机在不同的位置、不同的角度对场景进行拍照，获得真实场景的二维图像序列；

第二步，使用SIFT算法对第一步图像进行特征提取及匹配；

第三步，通过光束平差法（Bundle Adjustment）同时进行相机定标以及匹配特征的三维重建，生成稀疏点云；