[发明专利]一种基于元学习和协同注意力的小样本遥感图像目标检测方法

权利要求书

1.一种基于元学习和协同注意力的小样本遥感图像目标检测方法，其特征在于，具体步骤如下：

步骤一、取若干类目标的遥感图像分别划分训练集和测试集；

步骤二、从元学习的思想出发，对训练集进行one-way one-shot的任务划分，得到支持集和查询集；

步骤三、根据标注信息对支持集中的每个图像进行裁剪，得到各图像对应的仅保留目标的图像；

步骤四、将目标图像集和查询集，以孪生网络双输入的形式输入改进的特征提取网络，输出修正后的查询集的特征分布；

改进的特征提取网络是指：在特征提取网络中的4倍、8倍、16倍和32倍下采样层中分别添加协同注意力模块；协同注意力模块分为空间域注意力和通道域注意力；

空间域注意力non-local模块的具体运算过程为：

首先，对于目标图像集S和查询集图像Q，经过主干网络提取到的特征分别为α(S)和α(Q)；

然后，对支持特征集α(S)和查询特征集α(Q)各自进行1*1卷积后，支持特征集得到g特征和θ特征，查询特征集得到g特征和特征；

接着，将支持特征集的θ特征和查询特征集的特征进行矩阵点乘操作，得到两个特征之间的互相关关系；

最后，对互相关的两个特征θ和进行softmax操作归一化注意力权重，并将注意力权重与查询集的g特征和支持集的g特征分别做点乘；点乘后的查询集特征与原查询集图像Q做残差运算，同时，点乘后的支持集特征与原输入目标图像集做残差运算，两个残差结果作为non-local模块的输出；

通道域注意力squeeze模块的具体运算过程为：

首先，将non-local模块中输出的残差支持集特征分出两支：分别做全局平均池化和全局最大池化；

然后，将每个分支都进行1*1卷积与全连接操作，并将两个分支的结果求和，得到1*1*channels的权重特征；

最后，将1*1*channels的权重特征作为模板，与non-local模块输出的残差查询集特征进行卷积，从通道上修正查询集的特征分布；

步骤五、分别构建分类分支、边界框宽高分支、中心点补偿分支和方向分支，对修正后的查询集特征进行后处理，构建基于各分支的多任务损失函数；

分类分支完成类别判断任务，输出通道数等于类别数的热力图，与真实框生成的热力图做分类损失；边框宽高分支和中心点补偿分支通过与真实框的对应信息做回归损失；而方向分支对应的损失由Pixels-IoU计算得到，具体为：

首先，通过对各分支的预测信息进行提取，得到有向预测框；

然后，通过像素计数的方式计算有向预测框与标注的真实框之间的Pixels-IoU：

具体为：

首先，对于像素点p_ij，利用像素点p_ij与有向预测框b的垂直距离和水平距离计算δ(p_ij|b)；

计算公式为：

其中，表示像素点p_ij到框b垂直中线的距离；h表示预测框b的高度；表示像素点p_ij到框b水平中线的距离；w表示预测框b的宽度；

然后，判断δ(p_ij|b)是否为1，如果是，表示像素点p_ij在框b内，否则，像素点p_ij不在此框内；

最后，取真实框和预测框的最小外接矩形作为参考区域，选取同时在真实框和预测框内的像素点数S’，以及两个框内的所有像素点数之和T’；S’与T’的比值即为Pixels-IoU损失，由Pixels-IoU损失计算方向预测损失；

最终，利用各分支对应的损失函数计算有向预测框的损失函数；

公式为：

L_det＝L_cls+λ_sizeL_size+λ_offL_off+λ_angL_ang

其中，L_cls为分类损失，L_size为边界框宽高尺度损失，L_off为中心点补偿损失；而L_ang为方向预测损失；λ_size为边界框尺度对应的损失权重；λ_off为中心点补偿损失对应的损失权重；λ_ang为方向预测损失对应的损失权重；

步骤六、对于测试集中包含新类别目标的遥感图像，利用训练好的改进的特征提取网络进行目标预测。