[发明专利]基于不确定性感知特征传输的深度图超分辨率方法及系统

说明书

本发明公开了一种基于不确定性感知特征传输的深度图超分辨率方法及系统，通过在特征传输时构建迭代式上下采样的流水线替代现有方法中的前置插值上采样，从而在消除深度图与RGB引导图像之间分辨率差距的同时避免了噪声放大等副作用。本发明提出了一种对称不确定性方案，能够在特征传输过程中对深度特征的不确定性建模。然后利用生成的不确定性图对RGB特征加权从而去除与深度图像纹理不匹配的RGB特征，缓解由于两种图像之间的跨模态差距导致的纹理复制现象。本发明在每次迭代中只向前传播一次就可以对得到不确定性图，减少了计算资源的冗余消耗。同时本发明易于集成到现有的颜色引导的深度图像超分辨率模型，并进一步有效地提升模型的性能。

技术领域

本发明属于图像重建技术领域，涉及一种深度图超分辨率方法及系统，具体涉及一种基于不确定性感知特征传输的深度图超分辨率方法及系统。

背景技术

深度图像是对RGB模态的重要补充，可以为人类或计算机视觉系统更好地理解场景提供深度信息。更好的场景理解对计算机视觉中许多领域的研究都是有益的，例如场景识别、自主导航、3D重建等，这些任务通常都依赖于高质量的深度信息。但是，现有商业深度传感器获得的深度图通常分辨率较低，难以用于各种计算机视觉任务。因此，深度图超分辨率是一种实用且有价值的技术，它将深度图从低分辨率空间提升到高分辨率空间。

现有的一些深度图超分辨率方法通常利用同一场景下配准的高分辨率RGB图像来指导深度图的重建(文献1、2)。这类方法被称为颜色引导的深度图超分辨率。目前颜色引导的深度图超分辨率方法主要面临两大难题：

1.分辨率差距：深度图和RGB引导图像的分辨率大小不一致导致无法直接融合两种模态的特征；

2.跨模态差距：深度图和RGB引导图像的纹理不完全匹配。这会在重建的高分辨率深度图中引发纹理复制伪影和深度出血现象。

常规的颜色引导的深度图超分辨率方法的基本训练和测试步骤如下：

1.准备RGB-深度图像对数据集，将数据集分为训练集和测试集；

2.将训练集中的数据输入到神经网络中进行训练，其中包括基础网络的构建，RGB图像和深度图的特征提取，特征融合，损失优化等步骤；

3.保存训练过程中的最优模型，最终用该模型对测试集的数据进行测试得到模型表现结果。

对于深度图和RGB引导图像之间的分辨率差距，现阶段的方法通常使用前置插值上采样将深度图的分辨率提升到与RGB引导图像一致。但是这样做会带来一些副作用，例如噪声放大和模糊现象。此外，现有方法通常有两个分支或子网络，其中一个用于提取低分辨率深度图的特征，另一个用于提取对应的高分辨率RGB图像的特征。它们将从RGB图像提取的高频特征传递给深度图分支或子网络，以更好地恢复深度图中的边缘细节。但是这样的做法忽略了两种图像的跨模态差距。RGB图像中的高频信息并不全都是深度图重建所需要的。

综上所述，如何使深度特征和RGB特征在空间大小上保持一致的同时避免上述副作用以及在特征传输过程中准确地估计并去除与深度图像纹理不匹配的RGB特征，从而使得模型能够准确地重建高分辨率深度图是一个亟待解决的问题。

[文献1]He,Linzhi,et al.Towards Fast and Accurate Real-World DepthSuper-Resolution:Benchmark Dataset and Baseline.Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition.2021.