[发明专利]一种基于交叉蒸馏的单目深度估计模型训练方法

说明书

本发明公开了一种基于交叉蒸馏的单目深度估计模型训练方法，涉及深度学习领域。本发明包括以下步骤：将城市RGB图像输入到单目深度估计模型中；所述单目深度估计模型对所述城市RGB图像生成第一深度预测和第二深度预测；将两个预测深度用作伪标签，并对伪标签降噪；利用降噪后的伪标签对单目深度估计模型完成优化。本发明能够有效提高精度，且性能优越。

技术领域

本发明涉及深度学习领域，更具体的说是涉及一种基于交叉蒸馏的单目深度估计模型训练方法。

背景技术

深度估计是计算机视觉领域的一个基础研究课题，其应用范围从场景理解、3D重建到增强现实。受益于卷积神经网络的进步，最近的研究取得了较好的深度结果。由于缺乏深度线索，充分利用长距离相关性(即对象间距离关系)和局部信息(即对象内一致性)对于准确的深度估计至关重要。然而，感受野有限的卷积算子很难捕捉到长距离相关性，这成为当前基于CNN的深度估计方法的潜在瓶颈。

有大量工作致力于缓解CNN的上述缺陷，大致可分为两类：操纵卷积操作和结合注意力机制。前者利用空洞空间金字塔池化、粗糙到精细的融合和密集连接来增强卷积算子的功效。后者集注意力模块在特征图中建立长距离依赖。此外，一些通用方法利用了这两种策略。尽管深度精度有了相当大的提高，但困境仍然存在。

最近，Transformer已被证明有希望替代CNN。基于注意力机制，具有全局感受野的Transformer更擅长捕捉远程相关性。然而，由于缺乏空间归纳偏差，局部特征细节很容易被它忽略，导致性能不理想。一些克服Transformer缺点的深度估计方法利用了额外的CNN分支。然而，他们的框架在评估阶段也依赖于CNN分支，增加了推理时的计算成本。

发明内容

有鉴于此，本发明提供了一种基于交叉蒸馏的单目深度估计模型训练方法，以解决背景技术中存在的问题。

为了实现上述目的，本发明采用如下技术方案：

一种基于交叉蒸馏的单目深度估计模型训练方法，包括以下步骤：

将城市RGB图像输入到单目深度估计模型中；

所述单目深度估计模型对所述城市RGB图像生成第一深度预测和第二深度预测；

将第一深度预测和第二深度预测用作伪标签，并对伪标签降噪；

利用降噪后的伪标签对单目深度估计模型完成优化。

可选的，所述第一深度预测和所述第二深度预测的表达式分别为：

其中，表示来自Transformer分支的预测、表示来自CNN分支的预测，p表示像素点，r_n(p)表示RGB图像。

可选的，采用基于不确定性的交叉蒸馏损失对伪标签降噪，所述交叉蒸馏损失的定义式如下：

其中，-是梯度停止操作，是逐元素乘法，是来自Transformer分支是来自CNN分支的不确定性映射，p表示像素点。

可选的，对于不确定图进行建模，建模公式如下：

其中，d_n(p)代表预测的深度图，表示真值深度图，b是一个控制误差容限的系数，T表示具有有效真值深度的像素集合，p表示像素点。

可选的，应用L_u来预测不确定性以近似

其中，代表Transformer分支预测的不确定图，代表CNN分支预测的不确定图，代表Transformer分支不确定图的真值，代表CNN分支不确定图的真值，p表示像素点。