[发明专利]基于深度图的实时三维重建方法

摘要

本发明公开了一种基于深度图的实时三维重建方法，包括：利用深度相机获得拍摄场景的深度图和RGB彩色图；对每一帧深度图进行如下处理：对深度信息进行补全，然后其像素点转换第一类三维坐标点，并计算每一个像素点处的法向量；将深度图对应的第一类三维坐标点转换为第二类三维坐标点；为深度图所对应的每一个第二类三维坐标点分配体素块，并利用哈希表索引体素块；通过对体素块加权融合更新体素块中每一个体素的sdf值，然后提取场景表面；获得场景表面的纹理信息，并计算场景表面每一个体素处的表面法向量。本发明能够有效提高重建速度和重建质量，并且能够适用于大规模的场景重建。

主权项

1.一种基于深度图的三维重建方法，其特征在于，包括如下步骤：(1)利用深度相机获得拍摄场景的深度图和RGB彩色图；所述深度图用于表示场景表面到深度相机的距离，所述彩色图用于给出所述深度图中对应像素点的颜色信息；(2)对于当前帧的深度图I，针对深度信息缺失，对所述深度图I的深度信息进行补全，然后将所述深度图I的像素点转换第一类三维坐标点，并根据第一类三维坐标点计算所述深度图I中每一个像素点处的法向量；其中，所述第一类三维坐标点为相机坐标系下的三维坐标点；(3)若所述深度图I为第一帧深度图，则将由所述深度图I中的像素点转换得到的第一类三维坐标点作为第二类三维坐标点；否则，将由所述深度图I中的像素点转换得到的第一类三维坐标点转换为第二类三维坐标点；其中，所述第二类三维坐标点为世界坐标系下的三维坐标点；(4)对于所述深度图I所对应的每一个第二类三维坐标点，在其周围为其分配一个以该第二类三维坐标点为中心的体素块，得到当前帧的体素块；为所述当前帧的体素块中的每一个体素块分配存储空间，并利用哈希表索引体素块；其中，每一个体素块存储8*8*8个体素，每一个体素存储sdf值、color信息以及weight信息；所述sdf值表示体素到场景表面的有符号距离，sdf值为0的体素位于场景表面，且sdf值为正值的体素和sdf值为负值的体素分别位于场景表面的两侧；所述color信息表示体素的RGB颜色信息，其值根据所述RGB彩色图得到，所述weight信息表示对体素所属的体素块进行加权融合时的权重；(5)利用哈希表索引对于所述深度图I可见的体素块，并通过对体素块加权融合更新体素块中每一个体素的sdf值，然后根据体素的sdf值提取场景表面；(6)获得所述场景表面的纹理信息，使得重建场景经过渲染后具有色彩信息；计算所述场景表面每一个体素处的表面法向量，使得重建场景经过渲染后具有层次感；(7)依次遍历每一帧深度图，将其作为当前帧的深度图，并重复执行步骤(2)～(6)，直至场景重建完成。