[发明专利]一种基于Transformer深度神经网络的图像去雾方法

说明书

本发明公开了一种基于Transformer深度神经网络的图像去雾方法，主要包括以下步骤：S1、获取同一场景成对的有雾/无雾图像构建数据集；S2、构建图像去雾模型，模型由三个分支网络组成；S3、将有雾图像I(x)分别输入到图像去雾模型的三个分支网络中，分别获得透射率图像t(x)、大气光图像A(x)、无雾图像J(x)；S4、利用透射率图像t(x)、大气光图像A(x)、无雾图像J(x)，根据大气散射模型，重建输入的有雾图像I′(x)，I(x)与I′(x)构成重建损失约束整个图像去雾模型的训练。本发明基于Transformer进行图像去雾，利用Transformer固有的自注意力机制，可以更加有效地捕获全局信息，更好地提取特征。同时，本发明利用传统的先验辅助深度神经网络来达到更好的去雾效果。

技术领域

本发明涉及一种基于Transformer深度神经网络的图像去雾方法，属于图像处理技术领域。

背景技术

在雾霾天气条件下拍到的图像，由于大气中存在的雾、气溶胶、沙粒和薄雾对光线的散射和吸收，会出现能见度模糊、对比度降低、色彩变化和许多其他退化现象。这种扭曲的图像妨碍了与计算机摄影、自动驾驶系统、监控等相关的计算机视觉任务的执行。因此，在这种情况下，去雾对于产生具有良好感知质量的图像和提高后续计算机视觉任务的性能是至关重要的。

现有的图像去雾方法一般可分为两个分支：基于先验知识的图像去雾方法和基于学习的图像去雾方法。在基于先验知识的去雾方法中，通过将手工设计的先验知识或假设作为透射率图像t(x)和大气光图像A(x)估计过程中的额外约束。这些先验知识可以用来判别有雾图像和无雾图像，例如暗通道先验和颜色衰减先验。基于学习的去雾方法利用卷积神经网络提取图像特征，然后从大量的数据中学习有雾图像和无雾图像之间的映射关系。基于学习的方法又分为两类，一是非端到端学习的方法：首先估计透射率图像t(x)和大气光图像A(x)，然后基于大气散射模型进一步得到无雾的干净图像；另一类则是基于端到端学习的方法：输入有雾图像，通过训练好的去雾网络，直接输出对应的无雾图像。

基于先验的方法在很多场景中都是简单有效的，但它们都有一个共同的局限性，即描述它们的先验仅仅适应某些特定场景，这可能不适用于某些场景。早期基于深度卷积神经网络的方法直接利用深度卷积神经网络估计透射率图像和大气光图像，然后根据大气散射模型进一步获得无雾的干净图像。由于估计的透射率图像容易受到噪声的影响，对于透射率图像和大气光图像不准确的估计会极大地降低去雾性能。一些端到端的去雾方法逐渐被提出，这些方法不再估计透射率图像和大气光图像，而是直接从输入的有雾图像中恢复出干净的图像。

Transformer是一种基于自我注意机制的深度神经网络。最近，Transformer在自然语言处理领域的优秀表现引起了计算机视觉领域研究人员的极大关注。近期，Transformer在计算机视觉领域的一些研究展现出其深厚的潜力。Transformer与计算机视觉任务的结合将会极大地推动计算机视觉领域的发展。

发明内容

针对现有技术的不足及发展情况，本发明提供一种基于Transformer深度神经网络的图像去雾方法，与传统的深度卷积神经网络相比，Transformer能够更好地捕获全局上下文信息，具有更好的特征提取能力，能够极大地提高图像去雾性能。同时，利用先验知识辅助Transformer去雾网络模型，既能有效地利用图像的统计信息，又结合数据驱动的方法弥补特定先验的局限性。

为实现上述目的，本发明提供了如下技术方案：

一种基于Transformer深度神经网络的图像去雾方法，利用Transformer深度神经网络的自注意力机制，有效地捕获全局信息，提取图像特征，同时，利用暗通道先验获得的结果与网络输出结果进行损失计算以辅助深度神经网络来达到更好的去雾效果，该方法包括以下步骤：

S1、获取图像数据，即获取同一场景成对的有雾图像和无雾图像；