[发明专利]一种基于MSF-AM的低照度目标检测方法

权利要求书

1.一种基于MSF-AM的低照度目标检测方法，其特征在于，包括如下步骤：

1)依据公开标准数据集，建立来源图像：

1-1)依据公开的标准的PASCAL VOC2007数据集合成低照度下的目标检测数据集，PASCAL VOC2007数据集共包含9963张图像，其中，训练集5011张、测试集中有4952张，对PASCAL VOC2007数据集中所有图像采用图像退化方法合成低照度图像，建立来源数据集，将原图像和合成的低照度图像一一对应作为图像对；

1-2)将PASCAL VOC2007数据集中训练集作为正常照度图像训练集，对应的合成图像作为低照度图像训练集，将PASCAL VOC2007数据集中测试集中2476张图像作为正常照度图像交叉验证集，对应的合成的低照度图像集作为低照度图像交叉验证集，这样配对的交叉验证数据集作为Fine tuning样本，PASCAL VOC2007测试集中另外2476张图像对应的合成的低照度图像测试集作为测试样本，数据集的分组情况如下表1所示：

表1 用公开标准的PASCAL VOC2007数据集建立数据来源

2)增强和特征提取网络EFENet的训练：包括：

2-1)将所有低照度图像训练集和正常照度图像训练集中的图像进行预处理，即将图像缩放到统一的宽度和高度为480；

2-2)特征提取采用网络EFENet，EFENet设有顺序连接的引导图像滤波模块、细节增强模块、亮度增强模块和特征提取模块，将正常照度图像和低照度图像送入网络EFENet进行图像增强同时特征提取，首先将正常照度图像和低照度图像经过引导滤波算法分解图像得到正常照度图像和低照度图像的高频分量和低频分量，其中引导滤波算法原理是假设引导图像I和输出图像q之间存在局部线性关系，如公式(1)所示：

a_k，b_k表示以半径为r的方形局部窗口ω_k的常系数，i为ω_k中的像素位置，核函数表示引导图像I和输入图像p、输出图像q之间的关系，如公式(2)所示：

i，j为空间像素位置，W_ij为滤波器的核函数，如公式(3)所示：

ω_k为第k个核函数窗口，|ω|为局部窗口ω_k内的像素数，μ_k和分别为引导图像I在局部窗口ω_k内的均值和方差，ε为正则化参数，根据引导滤波算法的原理，令r为4、ε为0.01，将输入图像p进行分解，得到低频分量L，再将输入图像p与低频分量L做差运算，得到高频分量H，如公式(4)所示：

其中GIF(I,p)对输入图像p进行引导滤波操作，令I＝p；

2-3)将正常照度图像和低照度图像的高频分量送入细节增强模块，细节增强模块采用残差学习思想，残差块由六个卷积层和跳跃连接组成；

2-4)将步骤2-3)细节增强模块得到的高频分量再分别与正常照度图像和低照度图像的低频分量进行逐像素相加融合得到正常照度图像特征图和低照度图像特征图，计算正常照度图像和低照度图像的逐像素强度值均值的比值α引导亮度增强模块对低照度图像增强，如公式(5)所示：

n表示图像的像素点总数，p表示当前像素点，I_clear表示正常照度图像的像素强度值，I_synthetic表示低照度图像的像素强度值，所有正常照度图像的α设为1，低照度图像的α用于引导亮度增强模块对低照度图像增强，将正常照度图像和低照度图像的α扩展为单通道特征图分别与融合得到的特征图按通道进行拼接送入亮度增强模块，亮度增强模块采用U-Net跳跃结构；

2-5)将步骤2-4)亮度增强模块得到的特征图送入特征提取模块进行二次增强同时特征提取分别得到增强后的尺度大小为60*60、30*30、15*15的特征图,特征提取模块先采用跨阶段部分连接思想CSPNet和ResNeXt-50网络相结合的CSPResNeXt-50网络作为模块的一部分来进行特征提取，将得到的尺寸大小为15*15*2048的特征图送入特征提取模块的自注意力块Self Attention Block；

2-6)将低照度图像经过特征提取模块得到的尺度大小为15*15的特征图与正常照度图像经过特征提取模块得到的尺度大小为15*15的特征图进行逐像素的损失函数的计算，损失函数采用均方误差损失函数MSE来计算，具体为公式(6)所示：

其中N表示样本总数，W表示特征图的宽，H表示特征图的高，C表示特征图的通道数，为第i个正常照度图像的特征图的像素值，为第i个低照度图像的特征图的像素值；

3)进行多尺度检测网络MSDNet的训练：包括：

3-1)将步骤2-5)特征提取得到的尺寸大小为15*15*2048的特征图送入多尺度检测网络MSDNet中的卷积块Conv Block，卷积块Conv Block包含五个卷积层，每个卷积层后依次为批归一化处理、ReLU激活函数，再将卷积块Conv Block得到尺寸大小为15*15*1024的特征图经过一次卷积核大小为3*3，步长为1的“same”卷积、批归一化处理、ReLU激活函数，再经过一次卷积核大小为1*1，步长为1的“same”卷积得到尺寸大小为15*15*75的特征图；

3-2)将步骤3-1)经过卷积块Conv Block得到的特征图进行1*1卷积调整特征图通道数为512再采用双线性插值法上采样，得到尺寸大小为30*30*512的特征图，将30*30*512的特征图与特征提取模块中转换层3得到尺寸大小为30*30*1024的特征图进行按通道维度拼接得到大小为30*30*1536的特征图，送入通道注意力模块Channel Attention Module,经过全局平均池化和最大池化将特征图压缩成1*1*C的特征向量，其中，C为通道数，再经过共享的只有一个隐藏层的多层感知机网络,多层感知机网络缩减率为4，将输出的特征向量相加，再经过sigmoid函数，得到1*1*C的权重与送入通道注意力模块ChannelAttentionModule的特征图相乘得到经过通道注意力模块处理的特征图，如下公式(7)所示：

M_c(x)＝σ(MLP(AvgPool(x))+MLP(MaxPool(x))) (7)，

将得到的特征图与步骤3-1)的处理过程一样，送入多尺度检测网络MSDNet中的卷积块Conv Block得到尺寸大小为30*30*512的特征图，再经过一次卷积核大小为3*3，步长为1的“same”卷积、批归一化处理、ReLU激活函数，最后经过一次卷积核大小为1*1，步长为1的“same”卷积得到尺寸大小为30*30*75的特征图；

3-3)将步骤3-2)经过卷积块Conv Block得到的特征图进行1*1卷积调整特征图通道数为256再采用双线性插值法上采样，得到尺寸大小为60*60*256的特征图，将60*60*256的特征图与特征提取模块中的转换层2得到尺寸大小为60*60*512的特征图进行按通道维度进行拼接得到尺寸大小为60*60*768的特征图，送入通道注意力模块Channel AttentionModule处理过程与步骤3-2)一样，将经过通道注意力模块处理的特征图与步骤3-1)的处理过程一样，经过多尺度检测网络MSDNet中的卷积块Conv Block得到的大小为60*60*256的特征图再经过一次卷积核大小为3*3，步长为1的“same”卷积、批归一化处理、ReLU激活函数，最后经过一次卷积核大小为1*1，步长为1的“same”卷积得到尺寸大小为60*60*75的特征图；

4)对整个端到端的深度神经网络进行构造与训练：包括：

4-1)对增强和特征提取网络EFENet进行构造，增强和特征提取网络EFENet的输入为低照度图像训练集中的低照度图像样本和正常照度图像训练集中的正常照度图像标签，增强和特征提取网络EFENet的输出为低照度图像和正常照度图像的多个尺度的特征图；

4-2)对多尺度检测网络MSDNet进行构造，多尺度检测网络MSDNet的输入为低照度图像的多个尺度的特征图，多尺度检测网络MSDNet的输出为低照度图像的多个尺度的分类和回归结果；

4-3)多尺度检测网络MSDNet得到的低照度图像的多个尺度的分类和回归结果与正常照度图像标签样本的目标真实框进行损失计算；

5)进行Fine tuning操作与低照度图像目标检测，包括：

5-1)采用正常照度图像交叉验证集和低照度图像交叉验证集对训练好的MSF-AM网络进行Fine tuning操作，将Fine tuning后的整个MSF-AM网络的结构及参数作为最终用于低照度图像检测的结构及参数；

5-2)将低照度图像测试集送入Fine tuning之后的MSF-AM网络，得到目标检测结果。