[发明专利]基于深度图的实时三维重建方法

说明书

本发明公开了一种基于深度图的实时三维重建方法，包括：利用深度相机获得拍摄场景的深度图和RGB彩色图；对每一帧深度图进行如下处理：对深度信息进行补全，然后其像素点转换第一类三维坐标点，并计算每一个像素点处的法向量；将深度图对应的第一类三维坐标点转换为第二类三维坐标点；为深度图所对应的每一个第二类三维坐标点分配体素块，并利用哈希表索引体素块；通过对体素块加权融合更新体素块中每一个体素的sdf值，然后提取场景表面；获得场景表面的纹理信息，并计算场景表面每一个体素处的表面法向量。本发明能够有效提高重建速度和重建质量，并且能够适用于大规模的场景重建。

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种基于深度图的实时三维重建方法。

背景技术

三维重建技术一直是计算机图形学和计算机视觉领域的一个热点课题。早期的三维重建技术通常以二维图像作为输入，重建出场景中的三维模型，受限于输入数据，重建出的三维模型通常不够完整，而且真实感较低。近年来，随着各种面向普通消费者的深度相机的出现，基于深度相机的三维重建技术得到飞速发展。深度相机造价低廉，体积适当，操作方便，并且易于研究者和工程师进行开发，近期工作重点利用这种消费者深度相机实现实时表面重建。三维重建技术也是增强现实技术的基础，经过扫描重建后的三维模型可以运用到增强现实(Augmented Reality，AR)或虚拟现实(Virtual Reality，VR)场景中。

实时重建可以将许多重叠深度图进行融合并表示成一个不断更新的3D场景，但是在不牺牲重建质量和空间规模的前提下保证较好的实时性能，是十分具有挑战性的。许多先进的实时技术使用了不同类型的图形硬件加速底层数据结构，然而，这些在重建速度、规模和质量方面有一定的权衡，一些研究者提出完全体积的数据结构来隐式地存储连续函数的样本，在这些方法中，深度图预处理为带符号的距离场，并累积加权为一个规则的体素网格，最后利用光线投射算法提取距离函数值为0的等值面，从而构建待重建场景表面。这虽然是一种高质量的重建方法，但它使用固定体积的网格模型表示重建的三维场景，导致重建的时候只能重建固定大小的场景，并且当重建体积较大或网格的空间分辨率较高时十分消耗显存。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于深度图的三维重建方法，旨在解决现有的三维重建方法中重建质量拙劣、重建速度缓慢并且重建规模受内存局限的问题。

为实现上述目的，本发明提供了一种基于深度图的三维重建方法，包括如下步骤：

(1)利用深度相机获得拍摄场景的深度图和RGB彩色图；深度图用于表示场景表面到深度相机的距离，彩色图用于给出深度图中对应像素点的颜色信息；

(2)对于当前帧的深度图I，针对深度信息缺失，对深度图I的深度信息进行补全，然后将深度图I的像素点转换第一类三维坐标点，并根据第一类三维坐标点计算深度图I中每一个像素点处的法向量；其中，第一类三维坐标点为相机坐标系下的三维坐标点；深度信息缺失可能表现为深度图中存在孔洞与黑色斑点等；

(3)若深度图I为第一帧深度图，则将由深度图I中的像素点转换得到的第一类三维坐标点作为第二类三维坐标点；否则，将由深度图I中的像素点转换得到的第一类三维坐标点转换为第二类三维坐标点；其中，第二类三维坐标点为世界坐标系下的三维坐标点；

(4)对于深度图I所对应的每一个第二类三维坐标点，在其周围为其分配一个以该第二类三维坐标点为中心的体素块，得到当前帧的体素块；为当前帧的体素块中的每一个体素块分配存储空间，并利用哈希表索引体素块；其中，每一个体素块存储8*8*8个体素，每一个体素存储sdf值、color信息以及weight信息；sdf值表示体素到场景表面的有符号距离，sdf值为0的体素位于场景表面，且sdf值为正值的体素和sdf值为负值的体素分别位于场景表面的两侧；color信息表示体素的RGB颜色信息，其值根据RGB彩色图得到，weight信息表示对体素所属的体素块进行加权融合时的权重；