[发明专利]一种实时重建三维场景的方法及装置

说明书

一种实时重建三维场景的方法及装置，该方法包括几何重建过程和纹理重建过程；几何重建过程包括：输入待实时重建场景的RGB图像和深度图像，根据帧相似度划分为关键帧与非关键帧进行处理，其中对于关键帧的处理包括储存特征点、进行回环检测寻找相似帧，以及进行全局的位姿优化与注册；对于非关键帧，则以相对关键帧的相对位姿注册；经过TSDF场融合后，再通过移动立方算法提取网格，来生成三维场景模型的几何；纹理重建过程包括：通过纹理映射的方式还原，实现纹理优化，以重建三维场景模型的色彩信息，其中，从输入的RGB图像序列中选取若干视角下的图像，提取纹理片拼接成完整的纹理并映射。本发明可实现实时重建高质量外观的三维模型。

技术领域

本发明涉及计算机视觉，特别是一种实时重建三维场景的方法及装置。

背景技术

场景重建可广泛运用于机器视觉、自动驾驶等领域。重建有真实感的三维场景模型对于开发交互式的虚拟现实(VR/AR)应用尤其具有重要意义。三维场景重建算法涉及到了几何与纹理重建两方面。几何重建方面目前已经有了许多达到大规模高精度高效率的成熟技术方案，而纹理重建技术尚囿于离线重建，缺乏高效率高质量的解决方案。

一类实时重建技术，即基于RGBD输入图像，以TSDF函数作为空间表示的实时重建技术，如文献[1](A.Dai,M.Nieβner,M.Zollhofer,S.Izadi and C.Theobalt,BundleFusion:Real-time globally consistent 3d reconstruction using on-the-flysurface reintegration.ACM Transactions on Graphics,vol.36,no.3,p.24,2017)和文献[2](L.Han and L.Fang,FlashFusion:Real-time globally consistent dense 3dreconstruction using cpu computing,in Robotics:Science and Systems,2018)。这类技术使用RGB输入序列进行帧匹配和位姿注册，将相应深度信息表示为TSDF函数进行加权融合，最终模型表面即为TSDF函数的零点集。最新技术能够在移动设备上实现高效的大尺寸(5m)的几何重建。但在还原三维模型的RGB色彩信息时，这些方案往往使用的是在顶点上将观测值进行加权平均的融合方法，简单高效，但是重建的模型外观细节模糊，且容易产生重影现象。

一类离线纹理重建技术如文献[3](V.Lempitsky and D.Ivanov,Seamlessmosaicking of image-based texture maps,in 2007IEEE Conference on ComputerVision and Pattern Recognition,2007)。此类离线技术同样将来自各视角图像的纹理片拼合成整块纹理进行纹理映射，往往能够取得清晰高质量的纹理。技术主要涉及到对于视角的选择(常常可以转化为MRF场的优化问题)和拼合纹理的色彩调整。这两部分内容通常具有比较高的复杂度，因此囿于离线重建。

发明内容

本发明的主要目的在于克服上述技术缺陷中的至少一种，提供一种高质量实时重建三维场景的方法和装置。

为实现上述目的，本发明采用以下技术方案：

一种实时重建三维场景的方法，包括几何重建过程和纹理重建过程；

所述几何重建过程包括：输入待实时重建场景的RGB图像和深度图像，根据帧相似度划分为关键帧与非关键帧进行处理，其中对于关键帧的处理包括储存特征点、进行回环检测寻找相似帧，以及进行全局的位姿优化与注册；对于非关键帧，则以相对关键帧的相对位姿注册；经过TSDF场融合后，再通过移动立方算法提取网格，来生成三维场景模型的几何；

所述纹理重建过程包括：通过纹理映射的方式还原，实现纹理优化，以重建三维场景模型的色彩信息，其中，从输入的RGB图像序列中选取若干视角下的图像，提取纹理片拼接成完整的纹理并映射。