[发明专利]基于注意引导和多尺度特征融合的低照度图像增强方法

说明书

本发明公开了一种基于注意引导和多尺度特征融合的低照度图像增强方法，步骤包括：1)数据集构建，选择在模拟低照度环境合成测试集和真实环境下拍摄的低照度图像数据集；2)对图像数据进行预处理；3)构建特征提取网络；5)构建特征融合网络；5)设计可解释性的注意力损失引导网络训练；6)后处理，输出增强后的高分辨率图像。与现有技术相比，本发明可以更好的恢复图像细节信息，提升图像亮度和对比度，主观视觉和客观图像质量评价指标都得到改善。

技术领域

本发明属于图像处理领域，尤其涉及一种低照度图像增强算法。

背景技术

由于自然环境的复杂多样性，在不同场景(如阴天、背光、夜晚)等低照度条件下，基于光学的图像采集设备的成像质量受到影响，主要表现为图像整体偏暗、颜色失真、对比度过低、细节模糊等。采集得到的低质量图像缺乏系统必需的信息输入，造成其他基于视觉的智能算法性能下降，例如目标检测、图像分割、语义识别等。成像问题不可逆时，对低照度图像进行增强处理显得尤为重要。

发明内容

本发明旨在提出一种基于注意引导和多尺度特征融合的低照度图像增强方法，实现了低照度图像在图像亮度和对比度方面的指标改善和提升。

本发明的一种基于注意引导与多尺度特征融合的低照度图像增强方法，该方法包括以下步骤：

步骤1、构建数据集，该数据集包括大量的模拟低照度环境合成的测试集和真实场景下拍摄的低照度图像数据集SID，构成数据集的原始图像为BayerRaw格式图像；将该数据集作为训练数据；

步骤2、对图像数据做预处理，包括(1)降低维度；(2)去除黑电平；(3)图像系数放大；

步骤3、为数据集训练目的构建特征提取网络，采用五个stage组成特征提取网络，用于学习不同尺度下的特征信息，每个stage由若干个引入密集连接的残差块组成，其中：stage1和stage2分别包含两个引入密集连接的残差块，stage3、stage4以及stage5分别包含三个引入密集连接的残差块；引入密集连接的残差块结构包括多个卷积-激活函数层、Concat操作层，残差块之间以跳跃连接方式相互连接；X_i、X_i+1分别表示第i个残差单元的输入特征和输出特征，所述引入密集连接的残差块将提取到的不同尺度的特征图输入下一步骤；所述Concat操作用于跨层连接，直接在特征图的维度信息上进行特征融合；

步骤4、构建包括多分辨率融合块和链式残差池化层的特征融合网络，通过特征融合网络实现以下处理：

①通过残差块输入的不同尺度的特征图，在特征融合网络内部形成短距离连接，与特征提取网络形成远距离连接；

②接着，对不同尺度的特征图进行融合，多分辨率融合块包括对每一个特征图设置的两路依序1×1卷积、3×3卷积、上采样处理和加法器，由两路将每一个特征图上采样处理至当前输入特征图的尺寸大小，然后通过加法器两两相加，实现了两个尺度的特征融合；

③最后，将两个尺度融合后的特征送入链式残差池化层，抽取特征图中的高层语义特征，通过建立5×5的池化层，对不同尺度的特征信息进行整合，再进行求和操作；最终得到充分包含浅层特征的细节信息和深层特征的语义信息的特征图，实现各层级特征图之间的融合；

步骤5、设计可解释性的注意力损失函数，引导网络训练：

根据Canny算子检测图像边缘得到包含图像边缘位置和细节信息的注意力图，得到最终损失函数L(θ)，表达式如下：

其中，I_L表示前向传播后低照度图像，I_H表示高分辨率图像，N表示高分辨率图像的像素数量，||||₁表示损失函数L₁范数，θ表示网络中的可学习参数；