[发明专利]一种用于三维重建的快速深度恢复方法

说明书

本发明涉及计算机视觉中的立体视觉的技术领域，更具体地，涉及一种用于三维重建的快速深度恢复方法。利用通过运动恢复结构（Structure From Motion，SFM）得到图像中稀疏特征点的深度后，基于这些稀疏的特征点，结合灰度图像，通过多层下采样利用联合双边滤波器对深度进行扩散，从低分辨到高分辨率，由粗到精地、分层地快速恢复出精准的稠密深度图。该方法结果准确且计算量少，可以用于基于特征点法的同步定位与建图系统（Simultaneous Localization and Mapping，SLAM），将系统中计算得到的稀疏特征点恢复成稠密的深度图，以重建出三维的稠密地图。

技术领域

本发明涉及计算机视觉中的立体视觉的技术领域，更具体地，涉及一种用于三维重建的快速深度恢复方法。

背景技术

计算机视觉中的三维重建问题需要知道图像中每一个像素的深度信息，也就是需要知道稠密的深度图。一般来说，稠密的深度图可以由以下几种的方法获得：一是通过RGB-D相机直接获得每一个像素的深度信息；二是双目(多目)相机通过左右两相机的视差来计算像素的深度信息；三是单目相机通过运动，结合运动信息进行三角测量以计算像素的深度信息。基于RGB-D相机的方法容易受到光照影响，有量程限制，在室外大场景不适用；基于单目或双目(多目)相机基于立体匹配的方法，通常要通过匹配代价计算、代价聚集、视差计算以及视差优化等繁琐的步骤。对于如何求解视差，主要分为全局算法和局部算法两大类别：全局算法通过最小化带平滑项约束的能量函数，通过优化的方法求解出整体最优的视差，此类方法计算量大，对于图像中每一个像素视差的计算都利用都全部像素的信息；局部算法则是优化每一个像素在局部环境下的视差，平滑项通过窗口的聚集来进行约束。总的来说，传统利用立体匹配进行深度恢复的算法计算量大、耗时长。然而，一幅图像中的稠密深度信息是冗余的，对于一个平面(如：白墙)我们可以用其中的三个点的深度信息来表达，故在一定区域内，可以通过几个像素点精确的深度来恢复该区域的深度信息。目前，已有很多方法关注于利用稀疏的深度数据来恢复稠密的深度图。比如，通过基于马尔科夫随机场对深度图进行插值；通过循环的置信度传播求解对低分辨的深度图进行上采样，通过高分辨彩色图利用双边滤波器对低分辨率图进行插值上采样等等。以上大多数方法针对的是低质量的深度图进行优化，使用的是RGBD相机进行数据采集。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，提供一种用于三维重建的快速深度恢复方法，关注的是单目相机的深度恢复问题，利用SFM方法得到图像中稀疏特征点的深度，在得到特征点深度的基础上利用灰度图做引导，通过具有保持边缘性质的联合双边滤波器，从低分辨到高分辨率，分层迭代地恢复出稠密的深度图。

本发明的技术方案是：一种用于三维重建的快速深度恢复方法,包括以下步骤：

(1)通过SFM方法计算得到基于Harris角点的特征点的深度，由特征点组成的稀疏的深度图，该深度图与图X+1所示的灰度图分辨率一致，为dim_x×dim_y像素。

(2)对稀疏的深度图中有深度值的像素进行预处理。在具有深度值的特征点的八连通区域进行深度值扩散。此步骤保证对稀疏深度图进行下采样的时候深度信息不丢失。

(3)利用高斯金字塔向下降采样灰度图，记原分辨率dim_x×dim_y的灰度图为I⁰,每一轮下采样倍数为2,经过N轮下采样得到N+1张不同分辨率的灰度图：I⁰,I¹,I²...I^N，其中I^N的分辨率为(dim_x/2^N)×(dim_y/2^N)。