[发明专利]一种基于卷积神经网络的快速低光照目标检测方法

权利要求书

1.一种基于卷积神经网络的快速低光照目标检测方法，其特征在于，包括以下步骤：

步骤1、构建由金字塔卷积神经网络、轻量化单像素注意力网络和多尺度融合卷积网络组成的目标检测模型；其中，基于三层金字塔状的卷积神经网络用于低光照图像的光照增强，注意力网络用于提高低光照图像的分辨率，多尺度融合卷积网络用于进行目标类别与定位预测；低光照照度为1～3LUX；金字塔卷积神经网络由三个从低到高三个不同分辨率的卷积层组成，网络从第三层和第二层的低分辨率图像上学习颜色和光照特征，从第一层的高分辨率图像上学习细节和纹理特征，每个分辨率层含有个数不同的密集连接卷积块；第三层低分辨率图像大小为124*90，第二层低分辨图像大小为496*360，第一层高分辨率图像大小为992*720；金字塔卷积神经网络除了第一层的末尾使用Tanh激活函数，在每个卷积层的每一个卷积块后都应用了LeakyReLU激活函数，并在每个卷积层的末尾使用归一化；

步骤2、收集低光照图像作为数据集，将收集到的图像进行预处理，调整图像分辨率以适应网络输入，将数据集进行基于正负样本数目的优化划分得到训练集和测试集；

步骤3、对模型进行训练；利用处理好的训练数据集作为金字塔卷积神经网络的输入，增强光照；注意力网络利用金字塔卷积神经网络增强后的图像进行超分辨率增强，将增强后的的图像送入多尺度融合卷积网络进行目标的定位与分类，最终得到检测图像。

2.如权利要求1所述的基于卷积神经网络的快速低光照目标检测方法，其特征在于，步骤1所述的轻量化图像超分辨网络将金字塔卷积神经网络输出的图片实行超分辨操作，将超分辨后的图像送入多尺度融合卷积网络。

3.如权利要求1所述的基于卷积神经网络的快速低光照目标检测方法，其特征在于，步骤1所述的多尺度融合卷积网络对超分辨图进行处理，得到图像中预测目标的检测信息，所述检测信息包括目标位置信息和目标类别信息。

4.如权利要求1所述的卷积神经网络的快速低光照目标检测方法，其特征在于，步骤2所述的预处理具体如下：

首先使用DSLR的图像对齐算法将从相机捕获的RAW图像与RGB图像对齐，然后计算并匹配图像上的SIFT关键点确定重叠区域，将两个图像都裁剪到相交部分，从而得到具有相同分辨率的两个图像表示同一场景；然后使用不重叠的滑动窗口从匹配后的图像中提取图像块，以供低光照增强网络训练和验证。

5.如权利要求1所述的基于卷积神经网络的快速低光照目标检测方法，其特征在于，步骤3所述的模型训练具体如下：

1)输入图像被调整为224*224*4大小的图像块，然后分别进行三次卷积和池化操作，使图像分布在三个不同的比例的层级中进行处理；网络从最底层即第三层开始训练，通过3个步长为1，卷积核为3*3的卷积层，并且相邻层密集连接、两两叠加，经过最后一个卷积层计算后获得的图像经过转置卷积层上采样和concat至上一个层级即第二层的第一个和最后一个的卷积层前，每一层处理后的特征图与上一个层级的特征图堆叠以此获得更好的全局信息；第二层由4个步长为1，卷积核为3*3的卷积层和3个步长为1，卷积核为5*5的卷积层组成，同样地使相邻卷积层相加、末尾卷积块上采样；第一层由6个3*3卷积、5个5*5卷积、3个9*9卷积构成，最后输出光照增强图像；

2)轻量化图像超分辨网络选取1)中得到的光照增强图片进行图像超分辨；首先将图片经过由1*1卷积和3*3卷积组成的单像素注意力非线性映射模块，接着通过由最近邻上采样层和单像素注意力模块组成的分辨率重建模块，最后输出超分辨率图片；

3)多尺度融合卷积网络分为骨干网络、特征融合网络和定位预测网络；首先由2)得到的图片由骨干网络被下采样至七个不同分辨率大小的图像，然后将得到的各分辨率特征图输入BIFPN特征融合网络，最后输入定位预测网络，使用非极大值抑制对多个预测框内的目标类别置信度及预测框相对默认框的位置偏移量进行抑制，得到最终的预测框内的目标类别及预测框相对默认框的位置偏移量，并根据位置偏移量求出预测框的位置坐标。

6.如权利要求1所述的基于卷积神经网络的快速低光照目标检测方法，其特征在于，金字塔卷积神经网络的目标损失函数由感知损失函数和均方误差函数组成，其中感知损失函数由特征损失和风格损失组成。