[发明专利]一种基于深度学习的自监督单目深度估计方法

说明书

本发明公开了一种基于深度学习的自监督单目深度估计方法，所述方法包括：分别提取原始的右视图I^r和合成的左视图的金字塔特征，将金字塔特征进行水平相关操作以获得多尺度的相关特征F^c，并获取完善后的多尺度相关特征F^m；将F^m送入双目线索预测模块中的视觉线索预测网络，生成辅助的视觉线索D^r，并从合成的左视图再重建出右视图利用重建的右视图和真实的右视图I^r之间的图像重建损失来优化双目线索预测模块；将双目线索预测模块生成的视觉线索D^r用于约束单目深度估计网络预测的视差图D^l，使用一致性损失增强二者之间的一致性；构建遮挡引导的约束来为遮挡区域像素和非遮挡区域像素的重建误差分配不同的权重。

技术领域

本发明涉及计算机视觉、深度估计领域，尤其涉及一种基于深度学习的自监督单目深度估计方法。

背景技术

深度感知作为计算机视觉的基本任务之一，可以广泛应用于自动驾驶、增强现实、机器人导航和三维重建等领域。尽管有源传感器(例如：激光雷达、结构光和飞行时间)已被广泛利用以直接获取场景深度，但是有源传感器设备通常体积大、价格昂贵且具有较高的能耗。相比之下，基于RGB(彩色)图像预测深度的方法具有价格低廉、易于实现等优点。在现有基于图像的深度估计方法中，单目深度估计不依赖于感知环境的多次采集，受到了研究人员的广泛关注。

近年来，基于深度学习的单目深度估计方法已取得显著进展。其中，基于监督学习的方法通常需要具有真实深度标注的大型数据集来训练深度估计模型。在实际应用中，对大量图像进行高质量的像素级标注是一项具有挑战性的任务，这极大地限制了基于监督学习的单目深度估计方法的应用。与直接使用深度标签作为监督的方法不同，自监督方法旨在利用单目视频或双目图像为网络训练提供间接的监督信号。因此，研究无需深度标注信息的自监督单目深度估计方法具有重要意义和应用价值。

在自监督的单目深度估计方法中，一种基本的技术手段是利用单目深度估计模型从源视图中预测视差图，基于预测的视差图和源视图合成目标视图，并采用合成的目标视图和真实的目标视图间的重建误差约束深度估计模型的训练。最后，可以利用相机参数，基于预测的视差图计算出深度图。然而，现有方法通常仅关注于利用合成的目标视图来构造监督信号，没有充分地探索并利用源视图与合成的目标视图间的几何相关性。此外，由于源视图和目标视图间存在遮挡，现有的方法在视差学习中，直接最小化合成的目标视图与真实的目标视图之间的外观差异，将导致在遮挡区域附近预测的视差不准确。因此，在自监督的单目深度估计方法中，研究如何充分地探索并利用源视图与合成的目标视图之间的几何相关性以及如何解决源视图和目标视图间的遮挡问题是至关重要的。

发明内容

当前的自监督单目深度估计方法通常仅关注于利用合成的目标视图来构造监督信号，没有充分地利用源视图与合成的目标视图间的几何相关性，且没有分析及处理源视图和目标视图间存在的遮挡问题。本发明针对这些问题，提出一种基于深度学习的自监督单目深度估计方法，通过探索源视图与合成的目标视图间的相关性来生成辅助的视觉线索，并利用生成的视觉线索推理遮挡区域来构建遮挡引导的约束，提高自监督单目深度估计的性能，详见下文描述：

一种基于深度学习的自监督单目深度估计方法，所述方法包括：

1)分别提取原始的右视图和合成的左视图的金字塔特征，将金字塔特征进行水平相关操作以获得多尺度的相关特征F^c，并获取完善后的多尺度相关特征F^m；

2)将F^m送入双目线索预测模块中的视觉线索预测网络，生成辅助的视觉线索D^r，并从合成的左视图再重建出右视图利用重建的右视图和真实的右视图I^r之间的图像重建损失来优化双目线索预测模块；