[发明专利]一种单目深度估计模型学习性能的不确定性量化方法

说明书

本发明涉及单目深度估计领域，公开了一种单目深度估计模型学习性能的不确定性量化方法，通过设计不确定性测量策略、不确定性引导策略和不确定性后处理策略。不仅能高效测量自监督单目深度模型输出深度图的不确定性，并且可以利用不确定性信息引导网络学习和对深度图进行后处理。本发明简单有效，不需要添加网络模块，避免了对基线模型网络结构的修改，可推广到现有和未来的自监督单目深度模型当中。

技术领域

本发明涉及单目深度估计领域，提供了一种单目深度估计模型学习性能的不确定性量化方法，具体包括不确定性测量策略、不确定性引导策略和不确定性后处理策略。

背景技术

深度估计是诸多复杂计算机视觉任务的重要一环，例如增强现实中的虚拟物体摆放和碰撞检测，场景重建中的遮挡判定，自动驾驶中的距离检测等。深度估计的方法分为两类，一类是使用LiDAR和ToF这样的工业测距设备进行主动测距，另一类是结合消费级相机和基于机器学习的方法来进行深度估计。工业测距设备通过计量光的飞行时间来计算距离，抗干扰性强，易于标定，精度较高，但是设备成本高昂，工作环境受限，传感器自带噪声并且功耗高，生成深度图的分辨率和帧率都十分有限。基于机器学习的深度估计方法则不需要复杂的传感器，成本较低，并且可以提供更高分辨率和帧率的深度图。

基于机器学习的深度估计方法分为两类：传统方法和基于深度学习的方法。传统方法基于多视图几何或者机器学习模型对单幅图像进行深度估计。代表方法有双目立体匹配，运动恢复结构等。传统方法主要通过视图间的特征点匹配来估计深度，生成的深度图较为稀疏并且计算量较大。随着深度学习的发展，单目深度估计逐渐成为深度估计领域中的一个热门研究课题。

单目深度估计是给定一幅RGB图像，通过单目深度网络估算出对应的稠密深度图。单目深度估计的应用前景广泛，它可以缓解无人驾驶对于昂贵的激光雷达传感器的需求，同时也可以用于支持新的单视图应用，如图像编辑和AR合成等。基于深度学习的单目深度估计方法可以分为两类：有监督学习方法和自监督学习方法。有监督学习方法构建网络直接从大量的数据中学习空间距离和RGB特征之间的关系，但是具有高质量真实深度信息GT的数据集往往难以获取。自监督学习方法基于双目立体几何或SFM原理，通过光度重构损失函数来估算深度信息。自监督学习方法的训练不依赖真实的深度信息，训练时只使用RGB图像。根据训练方法的不同，可将训练流程分为单目视频、立体图像对和混合数据流三种训练范式。目前自监督学习方法的精度与有监督学习方法的精度相比还是存在一定的差距，如何进一步提升自监督单目深度估计网络的精度受到越来越多的关注。

自监督单目深度估计的核心损失函数是光度重构损失。该损失函数通过计算参考图像与深度投影图像之间的光度距离来约束网络输出正确的深度图。该损失函数通过计算目标图像与深度投影图像之间的光度距离来约束网络输出正确的深度图。但是光度重构损失函数存在一个很严重的缺陷，即在低纹理区域、运动物体和遮挡区域等估算的深度值具有歧义性，容易使网络陷入局部最优。因此，自监督单目深度网络的训练较为复杂，精度有限。因此仅仅使用光度重构损失函数进行约束是不够的。

现有工作为了提高自监督单目深度网络的深度估算精度，除了优化基本的光度重构损失以外，还采用了辅助性网络模块，预处理以及后处理等技术。然而，这些技术还不足以解决自监督单目深度估计网络在训练过程遇到的所有问题。因为现有改进方法都依赖于明确的应用前提，训练集中弱纹理区域、光照变化、运动物体和遮挡区域对模型的负面影响始终不能完全消除。现有的单目深度估计网络仍然是欠约束的。网络的欠约束问题表现为深度估计的不确定性。已有工作开始从不确定性度量的角度对单目深度估计展开研究。自监督单目深度估计的不确定性来源有两个：数据集的不确定性和网络自身结构的不确定性。二者分别从训练集所包含噪声和模型自身学习能力这两个方面来估算网络输出深度图的不确定性。