[发明专利]一种基于Transformer深度神经网络的图像去雾方法

权利要求书

1.一种基于Transformer深度神经网络的图像去雾方法，利用Transformer深度神经网络的自注意力机制，有效地捕获全局信息，提取图像特征，同时，利用暗通道先验获得的结果与网络输出结果进行损失计算以辅助深度神经网络来达到更好的去雾效果，该方法包括以下步骤：

S1、获取图像数据，即获取同一场景成对的有雾图像和无雾图像；

S2、构建图像去雾模型，该模型由三个分支网络组成，包括：透射率图像估计模块、大气光图像估计模块以及Transformer图像去雾主干网络，其中，透射率图像估计模块是一个U型编解码网络，编码器首先包含一个卷积层，其后串行连接三个组合块，组合块由串行连接的残差块、ReLU激活层和卷积层组成，其中，残差块由串行连接的卷积层、批量归一化层、ReLU激活层、卷积层、批量归一化层组成；解码器首先是串行连接的三个组合块，组合块由串行连接的残差块、ReLU激活层和反卷积层组成，其中，残差块由反卷积层、批量归一化层、ReLU激活层、反卷积层、批量归一化层组成；整个模块的最后串行连接一个卷积层和一个ReLU激活层；

为了更加充分地利用每一层的特征信息，将第一层卷积层的输出加入到最后一层卷积层的输入中，依次将前面的输出融合到后面的输入中，共建立三条融合连接；

大气光图像估计模块为U-Net网络结构，该网络使用L1损失约束训练过程，通过计算网络估计得到的大气光图像和根据暗通道先验得到的大气光图像之间的差异实现；

Transformer图像去雾主干网络，该网络由特征提取器和Transformer模块组成，其中，特征提取器由一个卷积层、一个池化层和两个残差块组成，残差块由卷积层、批量归一化层、ReLU激活层、卷积层、批量归一化层组成，Transformer模块采用6个编码层和6个解码层；

S3、将有雾图像I(x)分别输入到图像去雾模型的三个分支网络中，分别获得透射率图像t(x)、大气光图像A(x)、无雾图像J(x)，其中，前两个分支网络利用暗通道先验获得的透射率图像和大气光图像与透射率图像t(x)、大气光图像A(x)分别计算损失用于约束网络的训练过程，将有雾图像输入到透射率图像估计网络，输出得到透射率图像；将有雾图像输入到大气光图像估计网络，输出得到大气光图像；将有雾图像输入到Transformer图像去雾主干网络中，首先通过特征提取器提取图像特征，在将特征图输入到Transformer模块之前，将特征图分成N个块，形成一个图像块序列为了记住每个图像块的位置信息，为每一个图像块添加位置编码将直接输入到Transformer的编码器中；将透射率图像、大气光图像进行通道相加操作后转换成图像序列并将作为Transformer解码器的开始输入，编码器的输出作为中间输入，通过训练，该模型可以更好地学习到有雾图像的特性；

S4、利用透射率图像t(x)、大气光图像A(x)、无雾图像J(x)，根据大气散射模型，重建出输入的有雾图像I′(x)，I(x)与I′(x)构成重建损失用于约束整个图像去雾模型的训练。

2.根据权利要求1所述的一种基于Transformer深度神经网络的图像去雾方法，其特征在于：步骤S1具体包括：获取场景的无雾图像，根据大气散射模型，生成与无雾图像相对应的有雾图像，大气散射模型具体公式为：

I(x)＝J(x)t(x)+A(x)(1-t(x))，

其中，I(x)表示有雾图像，J(x)表示无雾图像，t(x)表示透射率图像，A(x)表示大气光图像。

3.根据权利要求1所述的一种基于Transformer深度神经网络的图像去雾方法，其特征在于：使用两种损失约束透射率图像估计模块的训练，第一种损失为L1损失，具体公式为：

L₁＝||y-y_t||，

其中，y表示网络估计得到的透射率图像，y_t表示真实的透射率图像；

第二种为感知损失，使用在ImageNet数据集上预训练好的VGG16网络relu3_3层输出的特征图计算损失，具体公式为：

其中，表示VGG16网络的relu3_3层输出的特征图；

透射率图像估计网络总损失函数为：

L＝L₁+λL_per，

其中，λ是平衡参数，取值为2。

4.根据权利要求1所述的一种基于Transformer深度神经网络的图像去雾方法，其特征在于：步骤S4，具体包括：将S3步骤中得到的透射率图像t(x)、大气光图像A(x)、无雾图像J(x)，根据大气散射模型，

I(x)＝J(x)t(x)+A(x)(1-t(x))，

重建出输入的有雾图像I′(x)，通过计算I(x)与I′(x)之间的差异构成重建损失，该损失用于约束整个网络模型的训练过程。