[发明专利]基于语义感知特征增强的短波红外舰船检测方法及系统

权利要求书

1.一种基于语义感知特征增强的短波红外舰船检测方法，其特征在于，包括：

获取海上短波红外图像；提取短波红外图像的多尺度特征，对多尺度特征进行融合，得到短波红外图像的全局特征；

预测短波红外图像全局特征的候选框，根据候选框在全局特征图上进行多尺度池化得到实例特征；

将短波红外图像的全局特征输入训练好的第一生成对抗网络，得到增强后的短波红外全局特征；

将短波红外实例特征嵌入到对应的隐语义空间获得其隐语义表示，将短波红外图像的实例特征和其隐语义表示共同输入训练好的第二生成对抗网络，得到增强后的短波红外实例特征；

将增强后的短波红外全局特征和增强后的短波红外实例特征进行合并，合并后的特征输入至目标检测头，得到短波红外舰船的检测结果。

2.如权利要求1所述的一种基于语义感知特征增强的短波红外舰船检测方法，其特征在于，采用残差网络作为骨干网络来提取短波红外图像的多尺度特征，采用特征金字塔网络来融合多尺度特征得到全局特征。

3.如权利要求1所述的一种基于语义感知特征增强的短波红外舰船检测方法，其特征在于，所述第一生成对抗网络的训练过程包括：

构建第一生成对抗网络的训练样本集；训练样本集包括经过标注的海洋场景下的短波红外图形和可见光图像；

固定生成器网络的参数，将海上短波红外图像的全局特征输入生成器，输出增强后的全局特征，然后与海上可见光图像的全局特征共同输入判别器，计算分类损失，训练判别器网络；

固定判别器网络的参数，将海上短波红外图像的全局特征输入生成器，输出增强后的全局特征；然后将增强后的全局特征输入判别器，计算分类损失，训练生成器网络。

4.如权利要求1所述的一种基于语义感知特征增强的短波红外舰船检测方法，其特征在于，隐语义表示的学习过程包括：

获得舰船类别嵌入向量表，将其分别映射为短波红外域的隐语义嵌入向量表和可见光域的隐语义嵌入向量表计算与之间的一致性损失，构建损失函数L_ebd；

将短波红外图像得到的实例特征嵌入到短波红外隐语义空间得到其隐语义表示计算和隐语义嵌入向量表的相似度，构建损失函数

将可见光图像得到的实例特征嵌入到可见光隐语义空间得到其隐语义表示计算和隐语义嵌入向量表的相似度，构建损失函数

将短波红外图像得到的实例特征输入生成器网络，先由解码器得到潜在表示，将潜在表示与隐语义表示逐元素相加，然后输入解码器得到增强后的短波红外实例特征将映射到可见光域的隐语义空间S^vis，得到计算其与隐语义嵌入向量表的相似度，构建损失函数

基于上述损失函数，使用短波红外实例特征和可见光图像得到的实例特征来学习隐语义表示。

5.如权利要求4所述的一种基于语义感知特征增强的短波红外舰船检测方法，其特征在于，使用短波红外实例特征和可见光图像得到的实例特征来训练第二生成对抗网络；具体包括：

(1)固定生成器网络的参数，将短波红外实例特征输入生成器得到增强后的实例特征，与可见光实例特征共同输入判别器网络并计算分类损失，训练判别器网络；

(2)固定判别器网络的参数，将短波红外实例特征输入生成器得到增强后的实例特征，然后将增强后的实例特征输入判别器网络并计算分类损失，训练生成器网络。

6.如权利要求1所述的一种基于语义感知特征增强的短波红外舰船检测方法，其特征在于，将增强后的短波红外全局特征和增强后的短波红外实例特征进行合并，具体包括：

取增强后的短波红外图像的全局特征设定步长的特征图，分别在其上每个像素点设置设定尺度的锚框；

将增强后的短波红外实例特征在原图上的边界框视为在原图上的一个区域；对所述特征图的每一个像素点，计算其锚框和短波红外实例特征对应的区域的权重，然后将重新赋予权重的短波红外实例特征以逐元素相加的方式融入增强后的短波红外全局特征，得到合并后的特征，权重考虑了锚框和区域的重叠面积和空间关系。