[发明专利]一种基于结构先验的规则场景三维信息提取方法

说明书

技术领域

本发明涉及一种三维信息提取方法，尤其涉及一种基于结构先验的规则场景三维信息提取方法，用于基于多视点图像的规则场景三维结构重建，属于图像处理技术领域。

背景技术

基于图像的三维场景重建是指利用摄像机等设备拍摄的图像作为输入，综合运用多种技术，研究三维空间中点、线、面等三维结构基元的三维坐标与二维图像中对应二维点、线、面的二维坐标之间的关系，确定物体的三维信息的技术。经过多年的创新和发展，已经成为计算机视觉的重要研究内容之一，而人工建筑物等规则场景往往与人们日常生活息息相关。因此，基于图像的规则场景三维重建具有重要的学术意义和推广应用价值。

由于这类规则场景投影的二维图像含有许多低纹理或者重复纹理区域，传统三维重建算法提取其三维信息的效果欠佳，其原因主要有：

1）室内场景包含很多无纹理或低纹理的结构表面（比如光滑的墙面、地板及天花板等），对于这些几何结构，可以提取到的显著特征点数目有限。于是，基于多视点立体算法重建三维场景时，各个视点之间的特征匹配关系极为有限，以至于无法为三维几何空间提供足够的约束信息。

2）各视点图像之间存在较严重的遮挡。室内场景包含多个房间，其中的房门投影至附近相邻视点得到的二维图像内容有可能相差很大，存在严重的遮挡现象。

基于图像的三维重建，其传统算法在重建室内场景上的不足，是客观存在的，本质上是因为由二维图像求解三维场景结构是一个病态问题，在二维图像获取的过程中丢失了大量的三维信息。不过，在场景结构几何分布上，规则场景通常具有较强的规律性，比如平坦表面、显著角点和基于轴对称的几何关系等。规则场景中存在的这些规则几何结构，可以作为场景重建过程中有利的几何约束条件，为简化重建任务、有效提取相应三维结构提供了便利，并使之成为可能。

重建规则场景过程中，在利用几何先验信息方面，通常采用Manhattan-world stereo模型【Y. Furukawa, B. Curless, S. M. Seitz. Manhattan-world stereo [C]. Proceedings of International Conference on Computer Vision and Pattern Recognition(CVPR). 2009, 1422-1429】近似逼近表达这类规则几何场景。假设待重建场景中几何结构平面的方向都是三个近似相互垂直的主轴方向中的一个，在很大程度上，该假设可以满足许多现实情况，从而极大地降低规则场景的三维信息提取、分析与处理的计算复杂度。还有一些学者直接从规则场景中提取特定的三维空间平面或者三维线段，从而实现三维信息有效获取的过程。如何利用这些几何先验信息优化建模三维场景，进一步提取相应的三维模型信息是一项具有挑战性的难题和研究热点。大部分研究人员都是根据几何结构先验信息，采用马尔科夫随机场模型（MRF）建模三维信息提取过程，利用相应MRF模型构建的全局评价能量函数，并对其进行最优化求解。Furukawa等人【Y. Furukawa, B. Curless, S. M. Seitz. Manhattan-world stereo [C]. Proceedings of International Conference on Computer Vision and Pattern Recognition(CVPR). 2009, 1422-1429】认为，在各个视点图像中为每个像素分配一个三维显著平面的标记，以此标注该像素是由哪个三维显著平面上的空间三维点投影而成的，通过对此问题构建基于MRF模型的全局代价能量函数，并用图割优化方法求解并产生各个视点的稠密深度图，从而进一步利用一种基于轴对齐方式深度图融合方法产生关于待重建场景的完整稠密三维模型。类似地，Sinha等人【S. N. Sinha, D. Steedly, R. Szeliski. Piecewise planarstereo for image-based rendering [C]. Proceedings of  International Conference on Computer Vision (ICCV). 2009, 1881-1888】则在各个视点图像中逐像素分配一个标记，构建一个含有多个标注的MRF马尔科夫随机场模型；在基于图割全局优化求解过程中，考虑并整合了各种几何先验约束。Branislav等人【B. Micusik, J. Kosecka. Multi-view Superpixel Stereo in Urban Environments [J]. IEEE Transactions on  International Journal of Computer Vision (IJCV). 2010 , 89(1): 106-119】，利用各个视图之间所诱导的单应矩阵，构造马尔科夫随机场模型；采用基于平面扫描方法优化各个分割区域对应的空间三维平面，从而进一步完成关于待重建场景的完整稠密三维模型获取过程。