[发明专利]单幅图像的三维场景重建方法

说明书

技术领域

本发明涉及一种单幅图像的三维场景重建方法，属于计算机视 觉和图像处理技术领域。

背景技术

从单幅图像中恢复场景的三维结构是计算机视觉中的一个经典 问题和典型的病态问题，其难度在于，图像是由场景内容经过摄像 机从三维空间投影到了二维成像平面上，关于场景三维结构的几何 信息不可避免的受到了损失，从而使该问题病态化。而人类却能够 通过自身的认知，准确的从一幅图像中识别出场景中的空间结构、 远近关系等三维信息。所以，在计算机视觉领域中，关于单幅图像 的三维场景重建一直致力于模仿人类认知，从图像的像素级信息中 获取各种有助于三维场景理解的信息来实现三维场景重构。

关于单幅图像三维重建的研究一直是计算机视觉领域的关注点 之一，每年都有大量的文章发表，提出新的方法或理论。经典的单 幅图像三维重建方法包括：利用场景中存在的平行线、平行面关系 来进行消失点、消失线的推断从而获取场景几何信息；利用场景中 纹理一致性的约束，更具相似纹理的大小关系恢复其所在位置的空 间深度(层次)信息；根据自然场景中大气浓度、雾气或者摄像机 焦距引起图像上不同区域的成像的清晰度来推断场景的空间信息 等。

上述方法明显存在的问题是，对数据的依赖性强，显然并非所 有图像都会出现其所需要的信息从而导致无法使用重建方法进行重 建。究其根本原因在于只对图像底层特征信息进行处理而忽略了关 于场景高层语义信息及其相关约束对场景(三维结构)理解的重要 作用，进而引起了图像信息与场景信息之间的语义空白。近年来， 计算机视觉领域中关于场景理解的建模方法、场景分类技术、物体 识别技术以及机器学习方法的长足发展正是填补上述空白所需要 的。例如斯坦福大学的Saxena等人和伊利诺伊大学香槟分校的 Hoiem等人提出利用机器学习的方法融合多种底层信息来学习场景 模型，进而对场景的三维结构进行推断。其中，Saxena使用场景深 度探测仪器所获得的深度图进行模型学习，在马尔科夫场(MRF) 模型下建立起图像特征与深度之间的关联，从而进行场景三维重建。 但由于其使用了三维网格模型场景的表示，没有明确三维模型与特 定类型物体的关联，从而无法使用更高层的语义信息帮助三维重建。 Hoiem等人通过初略的把场景分成上下左右几个面和前景着地物 体，并通过学习分类器建立起图像特征与上述各类别的关系，从而 可以推断图像中各个像素的几何属性(上下左右几个面和前景着地 物体)，其同样也未明确物体类型。

此外，北京大学于2009年3月11日申请的申请号为 200810224347.9、发明名称为“一种基于图像的三维重建方法”(专 利文件1)，专利文件1公开了一种基于特征点约束的多幅图像三维 重建方法，该方法包括：对每幅图像特征点的三维重建，计算每幅 图像的特征点，对每个特征点进行三维重建，确定所述待重建点空 间位置的搜索范围；对所述搜索范围内的点进行采样，将所有采样 点投影到图像，然后根据颜色一致性获取待重建点在空间的位置。 此外，在专利文件1中还公开了基于单幅图像的三维重建技术，其 利用统计学习的结果得到对场景中一些结构性信息如天空、地面、 建筑物立面的分类或者得到对场景的特征描述与深度的关系，利用 这些分类结果或者是特征与深度的对应关系可以对场景进行简单的 三维重建。但其依旧没有解决上述技术问题。

发明内容

本发明的目的在于提供一种基于场景分类和物体识别的单幅图 像的三维场景重建方法，与现有的单幅图像重建方法相比较，该方 法对图像数据的约束大大放宽，适应性更广，同时也提高了重建方 法的性能。其借鉴了通过机器学习建立场景几何属性与图像特征之 间关系的方法，同时引入了三维图形基元的表示，通过对三维图形 基元及其组合的推理计算，形成一套融合底层图像特征、高层语义 信息(场景类型、物体类型)、基本基元表示的三维场景重建方法。