[发明专利]一种基于U-Net的多层次特征交互去雾网络的构建方法

说明书

一种基于U‑Net的多层次特征交互去雾网络的构建方法，该网络的基础框架为U型架构，其中包括多层次特征交互模块和通道非局部信息增强注意力模块。给U型网络架构输入有雾图像，进行卷积下采样的分别得到EB1，EB2，EB3，之后通过多层次特征模块将EB1，EB2，EB3进行特征融合得到融合特征EF1，EF2，EF3。将上一步得到的融合特征通过通道非局部信息增强注意力模块之后分别与解码阶段DB1，DB2，DB3相融合，再通过上采样得到最终的去雾图像。在浓雾、非均雾图像以及尺度变化较大的遥感图像上，本发明所提的方法能够恢复出具有更好的颜色、亮度以及细节信息的去雾图像。

技术领域

本发明属于图像处理领域，具体涉及一种基于U-Net的多层次特征交互去雾网络的构建方法。

背景技术

雾霾是由大气中的烟雾灰尘等微小颗粒产生的常见大气现象，雾霾是造成物体外观和对比度等视觉质量下降的重要因素。在雾天拍摄的图片往往会出现图像模糊、信息损失、对比度下降等问题，雾霾会严重损失图像信息对众多高级视觉任务，诸如人脸识别、图像分割、目标检测、目标跟踪等任务产生负面影响。因此，在过去的十几年间，图像去雾任务在视觉领域中受到了广泛的关注。

目前，图像去雾算法主要分为两大类：基于参数估计的去雾方法和端到端的去雾方法。基于参数估计的去雾方法依赖于大气散射模型，通过预估全球大气光和传输图等参数来实现图像去雾。虽然基于先验的方法取得了显著的进展，但是在无约束条件下，这些基于中间参数估计的去雾方法容易产生较大误差，会出现大量伪影、颜色失真等图像退化现象。随着深度学习的发展，近年来，端到端的去雾方法成为了主流，研究人员提出了许多端到端的去雾方法，这些方法利用卷积神经网络直接学习有雾图像到无雾图像之间的映射关系，不需要估计任何中间参数。Qing等人发表的《Enhanced Pix2pix Dehazing Network》,以U型网络基础提出了一种增强pix2pix去雾算法构建了多分辨率生成器和多尺度判别器，在多分辨率生成器末端设计了增强模块，增强了图像纹理和色彩上的恢复效果。Done等人发表了《Multi-Scale Boosted Dehazing Network with Dense Feature Fusion》提出了MSBDN去雾网络，该模型结合U型架构和密集特征融合，在编码层和解码层上分别进行密集跳连接，达到了优秀的去雾性能。Wu等人发表的《Contrastive Learning for CompactSingle Image Dehazing》提出了一种基于对比学习思想的去雾网络AECR-Net,该模型基于U型架构基础，其算法在表示空间上将网络去雾后图像与正样本GT图像拉近，与输入有雾图像推远，进一步提升了去雾效果。Qing等人发表的《FFA-Net:Feature Fusion AttentionNetwork for Single Image Dehazing》提出一种特征融合注意网络FFA-Net，该方法利用通道注意力和像素注意力在特征图的空间维度和通道维度上分配权重，取得了良好的去雾性能。

虽然基于深度学习的端到端去雾方法取得了优秀的去雾性能。然而，当使用U型网络和非U型网络进行图像去雾时，依然存在以下几个问题。

(1)大多数去雾算法的采用U型网络结构，直接将解码层与对应尺度的编码层进行融合，不仅忽视了不同编码层信息的有效利用，而且存在特征信息稀释的问题，从而导致去雾图像恢复的边缘细节和整体场景(颜色、亮度等)等方面不够理想。

通道注意力中的两层全连接的降维操作会对特征通道权重预测产生负面影响，从而降低去雾网络的性能。

发明内容

本发明的目的是为了解决现有技术在使用U型网络进行图像去雾时，直接将解码层与对应尺度的编码层进行融合，缺乏不同层次编码层信息的有效利用的技术问题，以及基于u型网络结构模型的下采样会破坏图像的空间细节信息，上采样的过程中存在特征稀释问题；此外，本发明还能解决SE通道注意力中的两层全连接的降维操作会对特征通道权重预测产生负面影响，降低去雾网络性能的技术问题，而提供的一种多层次特征交互和高效的通道非局部信息增强注意力的图像去雾方法。