[发明专利]一种具有深度预测的单目3D重建方法

说明书

本发明公开了一种具有深度预测的单目3D重建方法，包括以下步骤：A、使用单目深度估计网络获得RGB图像的深度图和粗略的位姿估计；B、结合ICP算法和PnP算法来计算相机位姿估计，在局部和全局两个级别上执行回环检测，以保证重建模型的一致性；C、将深度图转化为全局模型，然后将当前帧的随机蕨类编码插入数据库中。本发明能够解决现有技术的不足，实现大规模高质量的三维重建。

技术领域

本发明涉及三维重建技术领域，具体是一种具有深度预测的单目3D重建方法。

背景技术

近年来，许多研究人员将注意力放到了具有细节信息的室内密集三维重建。同步定位与地图构建技术旨在解决未知环境中的导航和地图构建问题，已被证明是一种可行的三维重建方法。随着深度相机的发布，出现了许多优秀的SLAM方法如：KinectFusion，InfiniTAM，ElasticFusion，RGB-D SLAM等。这些方法可以广泛应用于自动驾驶、模型构建、增强现实等领域。但是深度相机的不足给这些方法带来了难以克服的局限性。首先，深度相机的探测范围有限，且对光照条件十分敏感，这导致上述方法在光照不均匀的条件下重建精度很差。其次，深度摄像头在消费级设备上远未普及，使其很难在真实场景上应用。

为了克服上述不足，一些研究人员提出了单目同步定位与地图构建技术（SLAM）。这些方法在连续的相邻帧上执行特征匹配，使用立体匹配来恢复图像深度信息，并最终重建目标场景。然而，不确定的绝对尺度限制了这些方法的应用前景。即使位姿估计和表面重建均准确完成，最终的重建结果仍然让人难以接受。单目同步定位与地图构建技术的另一个限制是纯旋转运动条件下的位姿估计问题，当相机进行纯旋转运动时，无法找到相应的立体匹配，这将导致跟踪和重建的失败。

与此同时，深度学习在三维重建领域取得了巨大成功。训练后，神经网络能够从单幅图像，立体图像或图像集合中预测深度值。网络通过调整网络结构可直接从训练数据集中学习整个三维重建处理框架。此外深度学习可以从图像中直接获取场景的绝对尺度而不需要其他辅助信息。然而，这些方法也有其缺点，很难训练神经网络直接使用多视图几何的基本原理。此外，网络预测的深度会部分模糊，导致重建场景缺少形状细节。

发明内容

本发明要解决的技术问题是提供一种具有深度预测的单目3D重建方法，能够解决现有技术的不足，实现大规模高质量的三维重建。

本发明的内容包括以下步骤：

A、使用单目深度估计网络获得RGB图像的深度图和粗略的位姿估计；

B、结合ICP算法和PnP算法来计算相机位姿估计，在局部和全局两个级别上执行回环检测，以保证重建模型的一致性，并利用不确定性对深度图进行细化，提高重建质量；

C、将深度图转化为全局模型，然后将当前帧的随机蕨类编码插入数据库中。

作为优选，步骤A中，在前向传播阶段，子网之间的迭代优化可以产生准确的深度预测。然后，我们根据相机参数校正深度图，并将结果传输到位姿估计模块。

作为优选，步骤A中，

利用多视图几何原理将RGB图转化为深度图；首先，每个RGB图使用一个由两个沙漏模块组成的2D特征提取器来提取特征并通过后台项目构建成本量；然后将成本量用于立体匹配，并使用池化层在不同视图之间聚合信息；3D沙漏模块用于处理汇总成本量以获取中间深度；在深度维度中，Softmax运算符用于获取每个像素深度的概率分布，以便将最大深度函数映射为深度估计；

通过解决最小二乘问题来优化位姿估计；通过使用2D特征提取器提取RGB图片的特征并预测当前帧与关键帧之间的相对运动；沙漏网络传输连接的特征图并计算残差流；使用可微分的高斯牛顿法来优化残差项的组合以计算位姿校正项。

作为优选，步骤A中，在进行深度预测之后，对网络预测得到的深度图进行深度校正，使用以下公式调整深度图，