[发明专利]一种具有深度预测的单目3D重建方法

权利要求书

1.一种具有深度预测的单目3D重建方法，其特征在于包括以下步骤：

A、使用单目深度估计网络获得RGB图像的深度图和粗略的位姿估计；

B、结合ICP算法和PnP算法来计算相机位姿估计，在局部和全局两个级别上执行回环检测，以保证重建模型的一致性，并利用不确定性对深度图进行细化；

在进行深度预测之后，对网络预测得到的深度图进行深度校正，使用以下公式调整深度图，

其中，是第k张RGB图像预测的深度图中点的深度值，是当前相机的焦距，是采集训练数据集相机的焦距；

将当前深度图上的任意一点投影到输入的剩余N-1帧深度图中，并得到列表，

，

其中是点在深度图上的对应点，是从当前帧到第i帧的变换矩阵，是点的深度值，

使用不同深度图中同一场景点的平方误差来描述深度图的不确定性，将点的不确定性初始化为相邻深度图之间像素深度的平方差：

，

初始化之后，根据以下加权方法对深度图进行细化，并对其不确定性进行更新，

用来增加图像不确定性的白噪声方差，提高结果精度；

C、将深度图转化为全局模型，然后将当前帧的随机蕨类编码插入数据库中。

2.根据权利要求1所述的具有深度预测的单目3D重建方法，其特征在于：步骤A中，

利用多视图几何原理将RGB图转化为深度图；首先，每个RGB图使用一个由两个沙漏模块组成的2D特征提取器来提取特征并通过后台项目构建成本量；然后将成本量用于立体匹配，并使用池化层在不同视图之间聚合信息；3D沙漏模块用于处理汇总成本量以获取中间深度；在深度维度中，Softmax运算符用于获取每个像素深度的概率分布，以便将最大深度函数映射为深度估计；

通过解决最小二乘问题来优化位姿估计；通过使用2D特征提取器提取RGB图片的特征并预测当前帧与关键帧之间的相对运动；沙漏网络传输连接的特征图并计算残差流；使用可微分的高斯牛顿法来优化残差项的组合以计算位姿校正项。

3.根据权利要求1所述的具有深度预测的单目3D重建方法，其特征在于：将场景表示为一组无序的面圆M，所有面圆都具有以下参数：位置坐标，法向量，权重，面圆半径，计数器，创建时间和更新时间t，描述面圆的覆盖范围，

。

4.如权利要求3所述的具有深度预测的单目3D重建方法，其特征在于：步骤B中，

在姿态估计当中，定义RGB帧由深度图像和颜色图像组成，对于点定义反向投影如下，

，

其中，是相机内参矩阵，是的齐次坐标，是的深度值，对于3D点定义如下变换，

，

其中，是焦距，为图像原点相对于光心成像点的纵横偏移量，将旋转矩阵定义如下，

，

计算当前帧的预测深度图和由全局模型投影得到的深度图之间的帧到模型误差，

，

将中的顶点反向投影得到，是的匹配点在前一帧相机坐标系中的坐标，是的法向量，是从到的变换矩阵，函数的作用是将李代数中的值转化为李群中的值，顶点之间的对应关系由KinectFusion框架中顶点匹配算法得出，

在和之间计算3D-2D误差，并通过寻找最小化误差，

，

其中，是上点的坐标，是在上特征匹配点的坐标；

对帧到模型误差和帧到帧误差进行加权，损失函数如下，

，

其中，，将神经网络预测得到的位姿估计作为损失函数求解的初始值，在每次迭代过程中，对下列等式进行求解，

，

目标是求解并且更新旋转矩阵，得出以下等式，

，

是一个6*1的向量，由3*1的旋转向量和3*1的平移向量组成，使用并行树约简来求解雅克比矩阵和误差，使用Cholesky分解获得。