[发明专利]一种基于噪声注意力图指导的微光图像增强方法

权利要求书

1.一种基于噪声注意力图指导的微光图像增强方法，其特征在于，按照以下步骤具体实施：

步骤1、构建噪声估计模块，该噪声估计模块的输入为原始微光图像，大小为H*W*3；该噪声估计模块的输出是大小为H*W*1的特征图；

步骤2、构建增强网络模块，该增强网络模块的输入数据是步骤1的输出特征与原始微光图像，大小为H*W*4；该增强网络模块的输出是增强后的图像，大小为H*W*3；

增强网络模块包含了编码器、Residual Block以及解码器，编码器在噪声注意力图指导下提取图像的浅层特征；Residual Block在编码器的基础上继续提取图像深层特征，为图像恢复提供有效的高级语义信息；解码器是在语义信息中恢复高分辨率图像，并进行通道压缩，输出增强结果。

2.根据权利要求1所述的基于噪声注意力图指导的微光图像增强方法，其特征在于：所述的步骤1中，噪声估计模块的结构依次为：原始微光图像作为输入图像→Avg Polling层→Conv分支层→Softmax层→Conv层→Interpolate层→输出特征，

其中，Avg Polling层为全局平均池化运算，卷积核大小为2*2，卷积步长为2，特征映射总数为3个；3个Conv分支层均为卷积运算，获取三个代表不同信息的特征图，卷积核大小均为3*3，卷积步长均为1，特征映射总数均为32个；Softmax层为Softmax激活函数；Conv层为卷积运算，卷积核大小为3*3，卷积步长为1，特征映射总数为1个；Interpolate层为线性插值运算，将图像特征尺寸通过线性插值恢复至H*W。

3.根据权利要求1所述的基于噪声注意力图指导的微光图像增强方法，其特征在于：所述的步骤2中，编码器的输入数据是步骤1的输出特征与原始微光图像，大小为H*W*4；编码器的输出的是提取的浅层图像特征，大小为H/6*W/6*128；

编码器的结构依次为：原始微光图像和步骤1的输出特征共同作为输入→Conv1层→Conv2层→Conv3层→输出特征；

其中，Conv1层、Conv2层、Conv3层均为卷积运算，卷积核大小均为3*3，卷积步长均为2，特征映射总数分别为32、64、128个。

4.根据权利要求1所述的基于噪声注意力图指导的微光图像增强方法，其特征在于：所述的步骤2中，Residual Block的输入数据是编码器的输出特征，大小为H/6*W/6*128；Residual Block的输出是提取的深层图像特征，大小为H/6*W/6*128；

Residual Block的结构依次为：编码器的输出特征作为输入→BN层→ReLU层→第一个Conv层→BN层→ReLU层→第二个Conv层→输出特征；

其中，BN层为利用批量归一化函数对输入特征进行了归一化处理；ReLU层为激活函数处理；两个Conv层均为卷积运算，卷积核大小均为3*3，卷积步长均为1；最后将输入的浅层特征与提取到的深层特征进行相加，共同作为ResidualBlock的输出。

5.根据权利要求1所述的基于噪声注意力图指导的微光图像增强方法，其特征在于：所述的步骤2中，解码器的输入数据是Residual Block的输出特征，大小为H/6*W/6*128；解码器的输出为增强的图像，大小为H*W*3；

解码器的结构依次为：Residual Block的输出特征作为输入→Deconv1层→Deconv2层→Deconv3层→输出图像；

其中，Deconv1、Deconv2、Deconv3层均为反卷积运算，卷积核大小均为3*3，反卷积步长均为2，特征映射总数分别为64、32、3个。

6.根据权利要求1所述的基于噪声注意力图指导的微光图像增强方法，其特征在于：所述的步骤2中，将L₁+SSIM损失函数+感知损失函数+感知颜色函数组合在一起，作为基于噪声注意力图指导的微光图像增强网络的总损失函数，表示为：

L_total＝(1-λ_s-λ_p)L₁+λ_sL_ssim+λ_pL_perc+λ_cL_colour

式中，L₁表示像素级别的L₁范数损失，L_ssim表示结构相似性损失，L_perc表示感知损失，L_colour表示感知颜色损失函数；λ_s、λ_p、λ_c是相对应的系数，取值区间为[0,1]，优选λ_s＝0.2、λ_p＝0.1、λ_c＝0.1；

其中，L₁范数损失公式为I_gt代表真实图像，I_h代表预测图像，l代表非零常数，取10^-6；

SSIM结构相似性损失公式为μ_x、μ_y分别代表图像x、y的像素平均值；σ_xy代表图像x、y乘积的标准差；分别代表图像x、y的方差；N代表图像样本总数，C₁、C₂为常量；

感知损失函数公式为I_gt代表真实图像，I_h代表预测图像，C_j代表通道，H_j和W_j分别代表第j特征图的高度和宽度，代表在预先训练的VGG16模型中第j卷积层获得的特征图；

感知颜色损失函数公式为L_colour＝ΔE(I_gt,I_h)，I_gt代表真实图像，I_h代表预测图像，ΔE代表CIEDE2000颜色色差计算。