[发明专利]一种基于深度学习的自监督单目深度估计方法

权利要求书

1.一种基于深度学习的自监督单目深度估计方法，其特征在于，所述方法包括：

1)分别提取原始的右视图和合成的左视图的金字塔特征，将金字塔特征在图像的水平方向上进行相关运算以获得多尺度的相关特征F^c，并获取完善后的多尺度相关特征F^m；

2)将F^m送入双目线索预测模块中的视觉线索预测网络，生成辅助的视觉线索D^r，并从合成的左视图再重建出右视图利用重建的右视图和真实的右视图I^r之间的图像重建损失来优化双目线索预测模块；

3)将双目线索预测模块生成的视觉线索D^r用于约束单目深度估计网络预测的视差图D^l，使用一致性损失增强二者之间的一致性；

4)根据左右视图的遮挡关系确定遮挡区域和非遮挡区域，并根据是否位于遮挡区域为不同像素的重建误差分配不同的权重，以构建遮挡引导的约束；

5)将一致性损失和遮挡引导的约束结合构建整体损失函数，并利用整体损失函数对单目深度估计网络进行训练，获得最终高质量的视差图D^l；

其中，所述获得多尺度的相关特征F^c具体为：

F^c＝F^r(x,y)eF^l(x+d,y)

其中，F^r(x,y)和F^l(x,y)分别表示特征图F^r和F^l中位置(x,y)处的值，e表示点积，d表示视差值；

其中，所述完善后的多尺度相关特征F^m具体为：

F^m＝Concat[F^c,Conv(F^r)]

其中，Conv(·)表示卷积运算，Concat[·,·]表示在相同尺度上的级联操作；

所述遮挡引导的约束具体为：

其中，p表示像素索引，N表示像素总数，γ表示偏置，为真实的左视图与合成的左视图间像素p处的结构相似性，I^l(p)为真实的左视图中像素p的像素值，为合成的左视图中像素p的像素值，M^l(p)为左遮挡掩模中像素p的像素值，M^r(p)为右遮挡掩模中像素p的像素值，为真实的右视图与合成的右视图间像素p处的结构相似性，I^r(p)为真实的右视图中像素p的像素值，为合成的右视图中像素p的像素值；

最终训练整个网络使用的损失函数公式表达如下：

其中，λ_M，λ_con和λ_es表示不同损失函数的权重；

边缘感知平滑损失的公式如下：

其中，表示水平方向上的一阶微分算子，表示竖直方向上的一阶微分算子。

2.根据权利要求1所述的一种基于深度学习的自监督单目深度估计方法，其特征在于，所述使用一致性损失增强二者之间的一致性具体为：

L_con＝||D^r-w(D^r,D^l)||₁+||D^l-w(D^l,D^r)||₁

其中，w(·)表示变形操作，用来逐像素地对齐D^r和D^l。