[发明专利]一种基于矩阵恢复的提高三维重建精度的方法及其装置

说明书

技术领域

本发明涉及计算机视觉领域，特别涉及一种提高多视点三维重建精度的方法及其装置。

背景技术

近年来，随着计算机视觉和虚拟现实技术的发展，三维建模逐渐在工业设计、影视制作、电子游戏、文化遗产保护以及电子商务等多个领域中扮演重要角色，如何根据目标物体精确高效地建立三维模型成为一个广泛关注的问题。基于图片的三维重建是这样一个过程，通过寻找两幅或者多幅图像之间的匹配像素点，然后将他们的2D位置转化到3D深度，从而估计出场景的一个3D模型。

基于图像序列的多视点三维重建方法是一种易于实现、高效率的三维建模方式，已提出的三维重建算法大体可以分为四大类：

第一类方法计算三维体积的代价函数，并根据这个体积提取表面。一种典型代表是像素着色法(voxel coloring algorithm)，这种算法对整个体积进行一个遍历，计算代价并使用低于一定阈值的代价重建体素。

第二类通过迭代展开表面来最小化代价方程。这类方法包括基于体素的、分级的和表面网格的算法。典型代表是空间雕刻算法(space carving methods)，这种算法逐渐从初始的形体上去除与图像冲突的体素，最终得到所求模型。

第三类是是通过计算每个视点图像空间上的深度图来重建模型，这种方法需要连续的图像以保证每个深度图的准确性，最终将所有深度图在一个空间中合成为三维模型。

第四类方法由两部分组成，首先提取并匹配出一系列特征点，而后根据这些特征生成合适的模型表面。

在以上这些算法中，基于深度图合成的方法以其在适应性和精度上的优势成为当今世界上认可度最高的方法之一。这种三维重建方法大体可以分为两步：首先，通过双目视觉计算出每个视点上图片对应的点云；而后，对所有的点云进行全局滤波和优化，最终合成为一个三维表面模型。

在实现发明的过程中，上述现有技术至少具有以下缺点：由于目标物体上的一处会被多个采集装置捕捉到，在合成多个视点的点云时将产生大量冗余。同时，双目视觉计算中产生的偏差点和异常点难以去除，导致合后的三维空间中的点云包含大量干扰点，这是三维重建结果精度受限的主要原因。

由于最终的3D模型是由点云生成的，去除点云中的异常点和错误匹配在提高3D模型精度上起到了重要作用。近年来很多用于点云优化的方法被提出，大体可以分为物理滤波方法和数学滤波方法两类。Bradley、Boubekeur和Heidrich发表的“Accurate multi-view reconstruction using robust binocular stereo and surface meshing”(CVPR2008:1-8)中利用了归一化互相关系数(NCC)作为度量方法来精化点云。这种物理滤波方法易于实现，但对点云的优化效果有限。Campbell、Vogiatzis、Hernández和Cipolla在发表的论文“Using multiple hypotheses to improve depth-maps for multi-view stereo”(ECCV2008:766-779)中通过对每个像素提取多个像素候选，而后使用全局的优化算法去除错误点，实现点云的平滑。Zach、Pock和Bischof在发表的论文“A duality based approach for realtime tv-l1optical flow”(Pattern Recognition2007:214-223)中使用全变分和L₁范数计算点云。邓岳和刘烨斌等发表的论文“Noisy depth maps fusion for multiview stereo via matrix completion”(Selected Topics in Signal Processing20126(5):566-582.)进一步提出了基于矩阵完备的噪声深度图融合方法，通过完备一个由可观察到点组成的秩为1的矩阵实现优化。这种数学滤波方法起到了一定效果，但是完备矩阵中包含了过多的丢失项，导致生成的3D模型精度并不够高。

发明内容

针对上述现有技术中存在的缺陷，为了提高三维重建模型的质量，本发明的目的是提供一种精确高效地重建关于目标物体三维模型的方法，在模型优化部分使用了矩阵恢复算法。本发明的另外一个目的是提供实现该方法的装置。

为了实现上述发明目的，本发明方法采用的技术方案如下：

一种基于矩阵恢复的提高三维重建精度的方法，包括如下步骤：