[发明专利]基于残差自注意力和生成对抗网络的图像增强方法

说明书

本发明公开了一种基于残差自注意力和生成对抗网络的图像增强方法，通过残差自注意力模块对低质量红外图像进行红外图像特征提取，获得低级红外特征图；通过增强模块对提取到的低级红外特征图进行多尺度深层次细节特征提取，获得高级红外特征图；低级特征图与高级特征图进行卷积合并生成增强红外图像，将增强红外图像和与低质量红外图像配对的高质量红外图像输入判别器，在生成对抗网络的生成器和判别器的训练过程中，确定两幅图像的纹理损失、内容损失、全变分损失，对比度损失，引导生成器与判别器的参数更新方向，不断提高增强红外图像的细节特征，获得质量相对最优的增强红外图像。

技术领域

本发明属于红外图像增强领域，具体涉及一种基于残差自注意力和生成对抗网络的图像增强方法。

背景技术

红外成像在医学成像，安全监控，环境污染检测和军事目标检测中发挥了重要作用；通常，红外图像具有一些缺点，例如低对比度和细节模糊，这限制了对红外目标的观察以及红外成像应用的进一步发展，为了获得高质量的结果，有必要增强红外图像。

以前的大多数方法是通过使用空间和频域来推广的，包括直方图均衡，对比度调整，变换，经验模态分解等，引入了基于直方图均衡的方法，通过分布热图像的直方图大致相等；最近，与以前基于手工特征的方法相比，基于卷积神经网络(CNN)的方法在各种视觉任务例如目标检测，图像识别和超分辨率图像，已经达到了创纪录的性能；Choi等人提出了第一种基于CNN的增强热图像的方法，他设计了一个相对较浅的CNN，CNN不仅在增强热图像质量方面取得了成功，而且在增强的热图像的基础上，在验证行人检测，视觉测距和图像配准等各种应用中的性能改进方面也取得了成功。

发明内容

鉴于此，本发明的主要目的在于提供一种于残差自注意力机制和生成对抗网络的红外图像增强方法。

为达到上述目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供一种基于残差自注意力和生成对抗网络的图像增强方法，该方法为：首先，通过残差自注意力模块对低质量红外图像进行红外图像特征提取，获得低级红外特征图；其次，通过增强模块对提取到的低级红外特征图进行多尺度深层次细节特征提取，获得高级红外特征图；之后，低级特征图与高级特征图进行卷积合并生成增强红外图像，最后，将增强红外图像和与低质量红外图像配对的高质量红外图像输入判别器，在生成对抗网络的生成器和判别器的训练过程中，确定两幅图像的纹理损失、内容损失、全变分损失，对比度损失，引导生成器与判别器的参数更新方向，不断提高增强红外图像的细节特征，获得质量相对最优的增强红外图像。

上述方案中，所述通过残差自注意力模块对低质量红外图像进行红外图像特征提取，获得低级红外特征图，具体为：所述残差自注意力模块由四个独立的残差自注意力子模块组成；第一卷积层位于第一残差自注意力子模块之前，大小为9×9×64用来提取图像最低级红外特征图，作为残差自注意模块的输入；四个残差自注意力子模块的输入与输出跳跃连接，同时，第一残差自注意力子模块的输入与第四残差自注意力子模块的输出跳跃连接，以充分利用不同深度的红外特征图，获得低级红外特征图。

上述方案中，所述残差注意力子模块由两层卷积层、通道注意力模块和空间注意力模块组成，两层卷积层在通道注意力模块之前，大小为3×3×64，激活函数为ReLU，之后各设置批归一化(BN)层；通道注意力模块在卷积层之后，并且处于空间注意力模块之前；所述残差注意力子模块的输入与输出跳跃连接。

上述方案中，所述通道注意力模块首先对输入红外特征图分别进行最大池化和平均池化操作，然后经过共享全连接层操作的输出特征图进行concat操作，再经过sigmoid激活操作，生成最终的通道注意力权值矩阵，该权值矩阵与该模块输入特征图做乘法生成新的特征图。