[发明专利]一种基于多层神经网络的SAR图像舰船目标检测方法

权利要求书

1.一种基于多层神经网络的SAR图像舰船目标检测方法，包括下列步骤：

步骤S1：将包含SAR图像及其所对应的舰船目标真实值的SAR图像数据集划分成训练集、验证集、测试集；

步骤S2：对所述训练集进行预处理，包括SAR图像的尺寸标准化、数据增强和先验框聚类；

步骤S3：使用所述验证集和所述预处理过的训练集构建一个基于多层神经网络的SAR图像舰船目标检测方法SSTD-MNN的初始模型；

步骤S4：使用所述验证集和所述预处理过的训练集对所述SSTD-MNN的初始模型进行参数调节，得到SSTD-MNN的优化模型，并使用所述测试集评估该优化模型的检测准确度；

步骤S5：利用所得SSTD-MNN的优化模型对SAR图像数据集中或实际应用中的待检测SAR图像进行舰船目标检测。

2.根据权利要求1所述的方法，其特征在于，所述步骤S2进一步包括下列步骤：

步骤S21：对训练集中的所有SAR图像及其舰船目标真实值的尺寸都标准化为608像素×608像素；

步骤S22：首先为训练集中每张SAR图像随机选取训练集中其他3张SAR图像，将该4张SAR图像随机缩放后分别放置于一张空白图像的四个角以拼接成1张新的SAR图像，然后，将该SAR图像及其原4张SAR图像所对应的舰船目标真实值进行边缘处理，得到预处理后的SAR图像及其舰船目标真实值；

步骤S23：对训练集中的所有舰船目标真实值进行K-means聚类后获得n个先验框，其中，超参数n取值于集合{6，9，12}中元素。

3.根据权利要求1或2所述的方法，其特征在于，所述步骤S3进一步包括下列步骤：

步骤S31：为所述检测方法SSTD-MNN的初始模型构建一个特征提取层，其包含以下7个子层：

第1个子层包含2个二维卷积层和1个mish函数激活层，其中，2个二维卷积层的卷积核数量分别为32和64，卷积核大小分别为1×1和3×3/2，该子层的输出由下列公式定义：

Output＝mish(conv₂(conv₁(Input)))，

式中，Input表示该子层的输入，conv₁、conv₂分别表示2个二维卷积层，Output表示该子层的输出；

第2个子层包含3个二维卷积层、1个mish函数激活层和1个残差网络层，其中，3个二维卷积层的卷积核数量均为32、卷积核大小均为1×1，残差网络层中含有2个二维卷积，它们的卷积核数量分别为32和64、卷积核大小分别为1×1和3×3；

第3个子层包含3个二维卷积层、1个mish函数激活层和2个残差网络层，其中，3个二维卷积层的卷积核数量均为64、卷积核大小均为1×1，2个残差网络层中均含有2个二维卷积，它们的卷积核数量均为64、卷积核大小分别为1×1和3×3；

第4个子层包含3个二维卷积层、1个mish函数激活层和8个残差网络层，其中，3个二维卷积层的卷积核数量均为128、卷积核大小均为1×1，8个残差网络层中均含有2个二维卷积，它们的卷积核数量均为128、卷积核大小分别为1×1和3×3；

第5个子层包含3个二维卷积层、1个mish函数激活层和8个残差网络层，其中，3个二维卷积层的卷积核数量均为256、卷积核大小均为1×1，8个残差网络层中均含有2个二维卷积，它们的卷积核数量均为256、卷积核大小分别为1×1和3×3；

第6个子层包含3个二维卷积层、1个mish函数激活层和8个残差网络层，其中，3个二维卷积层的卷积核数量均为256、卷积核大小均为1×1，8个残差网络层中均含有2个二维卷积，它们的卷积核数量均为512、卷积核大小分别为1×1和3×3；

第2个子层至第6个子层的输出均由下列公式定义：

Output＝mish(conv₃(concat(conv₁(Input)，Resblock_n(conv₂(Input)))))，

式中，Resblock_n表示第n子层中的残差网络层，n∈{1，2，...，6}，Input表示相应子层的输入，conv₁、conv₂、conv₃分别表示相应子层中的3个二维卷积层，concat表示连接操作，Output表示相应子层的输出；

第7个子层包含3个最大池化层，它们的池化核大小分别为3×3、5×5、7×7，该子层的输出由下列公式定义：

Output＝concat(Input，maxpool₁(Input)，maxpool₂(Input)，maxpool₃(Input))，

式中，Input表示该子层的输入，maxpool₁、maxpool₂、maxpool₃分别表示3个最大池化层，concat表示连接操作，Output表示该子层的输出；

步骤S32：为所述检测方法SSTD-MNN的初始模型构建一个特征融合层，其包含以下5个子层：

第1个子层包含4个二维卷积层，它们的卷积核数量分别为512、1024、512、256，卷积核大小分别为1×1、3×3、1×1、1×1，第1个子层的输出由下列公式定义：

Output＝conv_1-4(Input)，

式中，Input表示该子层的输入，conv_1-4表示第1个至第4个二维卷积层，Output表示该子层的输出；

第2个子层包含1个上采样层、6个二维卷积层和1个外部注意力层，其中，6个二维卷积层的卷积核数量分别为256、256、512、256、512、256，卷积核大小分别为1×1、1×1、3×3、1×1、3×3、1×1，上采样层的采样倍数为4，该子层的输出由下列公式定义：

Output＝ea(conv_2-6(concat(upsample(Input)，conv₁(Output_S31-5))))，式中，Input表示该子层的输入，upsample表示上采样层，conv₁表示第1个二维卷积层，Output_S31-5表示步骤S31中第5个子层的输出，concat表示连接操作，conv_2-6表示第2个至第6个二维卷积层，ea表示外部注意力层，Output表示该子层的输出；

第3个子层包含1个上采样层、6个二维卷积层和1个外部注意力层，其中，6个二维卷积层的卷积核数量分别为128、128、256、128、256、128，卷积核大小分别为1×1、1×1、3×3、1×1、3×3、1×1，上采样层的采样倍数为4，该子层的输出由下列公式定义：

Output＝ea(conv_2-6(concat(upsample(Input)，conv₁(Output_S31-4))))，

式中，Input表示该子层的输入，conv₁表示第1个二维卷积层，Output_S31-4表示步骤S31中第4个子层的输出，concat表示连接操作，conv_2-6表示第2个至第6个二维卷积层，ea表示外部注意力层，Output表示该子层的输出；

第4个子层包含1个下采样层、6个二维卷积层和1个外部注意力层，其中，6个二维卷积层的卷积核数量分别为256、256、512、256、512、256，卷积核大小分别为3×3、1×1、3×3、1×1、3×3、1×1，下采样层的采样倍数为1/4，该子层的输出由下列公式定义：

Output＝ea(conv_2-6(concat(conv₁(downsample(Input))，Output_S32-2)))，

式中，Input表示该子层的输入，downsample表示下采样层，conv₁表示第1个二维卷积层，Output_S32-2表示步骤S32中第2个子层的输出，concat表示连接操作，conv_2-6表示第2个至第6个二维卷积层，ea表示外部注意力层，Output表示该子层的输出；

第5个子层包含1个下采样层和6个二维卷积层，其中，6个二维卷积层的卷积核数量分别为512、512、1024、512、1024、512，卷积核大小分别为3×3、1×1、3×3、1×1、3×3、1×1，下采样层的采样倍数为1/4，该子层的输出由下列公式定义：

Output＝conv_2-6(concat(conv₁(downsample(Input))，Output_S32-1))，

式中，Input表示该子层的输入，downsample表示下采样层，conv₁表示第1个二维卷积层，Output_S32-1表示步骤S32中第1个子层的输出，concat表示连接操作，conv_2-6表示第2个至第6个二维卷积层，Output表示该子层的输出；

步骤S33：为所述检测方法SSTD-MNN的初始模型构建一个输出层，其包含以下3个子层：

第1个子层包含2个二维卷积层，它们的卷积核数量分别为256和3×5+c，卷积核大小分别为3×3和1×1，其中，超参数c表示SAR图像舰船目标种类的数量，其取值为任意正整数；

第2个子层包含2个二维卷积层，它们的卷积核数量分别为512和3×5+c，卷积核大小分别为3×3和1×1，其中，超参数c表示SAR图像舰船目标种类的数量，其取值为任意正整数；

第3个子层包含2个二维卷积层，它们的卷积核数量分别为1024和3×5+c，卷积核大小分别为3×3和1×1，其中，超参数c表示SAR图像舰船目标种类的数量，其取值为任意正整数；

步骤S34：根据步骤S23获得的先验框和所述输出层的所有输出进行运算，得到舰船目标检测坐标的实际值，具体包括：

首先将步骤S23获得的n个先验框均分为3份，然后，将所述输出层中3个子层依次与所述3份先验框进行关联，并将每个子层的n/3个输出依次与该子层关联的n/3个先验框进行对应，最后，将每个子层的每个输出中的舰船目标检测坐标的初始值依次与该输出对应的先验框的宽度和高度进行运算，得到舰船目标检测坐标的实际值，所述运算由下列公式定义：

式中，t_x、t_y、t_w、t_h分别表示子层的输出中的舰船目标检测坐标的初始值中的横坐标、纵坐标、宽度和高度，b_x、b_y、b_w、b_h分别表示运算得到的舰船目标检测坐标的实际值中的横坐标、纵坐标、宽度和高度，p_w、p_h分别表示相应的先验框的宽度和高度，c_x、c_y分别表示子层的输出与预处理后的SAR图像左上角的横向、纵向距离；

步骤S35：对步骤S34的运算结果进行交并比阈值为threshold₁的非极大值抑制，其中，超参数threshold₁在开区间(0，1)中取值。

4.根据权利要求3所述的方法，其特征在于，所述步骤S4进一步包括下列步骤：

步骤S41：首先，逐一计算出所述SSTD-MNN的初始模型的每个输出与每个舰船目标真实值的交并比，然后，对于每个舰船目标真实值，将与它的交并比为最大值的第一个输出记为正确的输出，其余的输出中若某个输出与所有舰船目标真实值的交并比的最大值小于阈值threshold₂，则将该输出记为错误的输出，其中，超参数threshold₂在开区间(0，1)中取值；

步骤S42：为所述SSTD-MNN的初始模型构建一个损失函数，并计算该模型的所有输出的损失后再进行梯度传播，所述损失函数由下列公式定义：

loss＝I^objCIoU(pred_coord，gt_coord)+I^objBCE(pred_cls，gt_cls)+BCE(pred_conf，gt_conf)，

式中，I^obj表示是否为正确的输出，其取值为1表示正确的输出，取值为0表示其余的输出；CIoU表示CIoU损失函数；BCE表示二元交叉熵函数；pred_coord表示所述输出层的输出中的舰船目标检测坐标的实际值，gt_coord表示舰船目标真实值中的坐标值，pred_cls表示所述输出层的输出中的舰船目标检测物体种类，gt_cls表示舰船目标真实值中的舰船目标物体种类，pred_conf表示所述输出层的输出中的置信度，gt_conf表示是否为错误的输出，其取值为0表示错误的输出，取值为1表示其余的输出；

步骤S43：使用学习率为η的Adam优化器对所述SSTD-MNN的初始模型进行参数调节，其中超参数η取值于集合{0.0005，0.001，0.0015，0.002}中元素，并在所述验证集上计算所述损失函数，若该函数收敛，则结束参数调节过程，得到SSTD-MNN的优化模型，否则依次重复执行步骤S41、S42和S43；

步骤S44：使用所述测试集以及精度、召回率两个性能评价指标来评估所得SSTD-MNN的优化模型的检测准确度。