[发明专利]局部特征增强光学SAR遥感图像跨模态检索方法及设备

权利要求书

1.一种局部特征增强光学SAR遥感图像跨模态检索方法，其特征在于，包括：步骤1、将非对齐的光学遥感图像x_v与SAR遥感图像x_s分别送入两路结构完全相同的深度卷积神经网络G(·)中以提取图像特征，两路网络不共享参数，得到光学特征图以及SAR特征图其中θ_v与θ_s分别为光学特征提取网络与SAR特征提取网络的网络参数；步骤2、将提取到的光学特征F_v与SAR通道特征F_s一起送入跨模态互注意力模块，特征图F_v与F_s尺寸均为H×W×C,将其中每一个1×1×C的向量视为局部特征，则特征图F_v与F_s改写成其中m＝H×W,f_i^v与f_i^s分别为光学特征图与SAR特征图上1×1×C的局部特征，计算局部特征两两之间的相似度，得到光学相似度矩阵R^v以及SAR相似度矩阵R^s；步骤3、将步骤2中得到的相似度矩阵的维度变换为m×H×W，并将相似度矩阵送入跨模态特征权重生成模块；步骤4、将步骤3的相似度矩阵通过一多层感知机生成卷积核，w_v＝W_v(R^v),w_s＝W_s(R^s)，其中w_v为光学通路多层感知机，w_s为SAR通路多层感知机，R^v为光学相似性矩阵,R^s为SAR相似性矩阵；步骤5、利用步骤4中得到的卷积核w_v以及w_s生成特征权重图，A_v＝σ(w_v)，A_s＝σ(w_s)，其中σ为采用的激活函数，最终得到光学特征权重图Av和SAR特征权重图As；步骤6、利用步骤5中得到的Av与As使用残差连接的方式对原有的特征进行加权，得到最终的特征F_v和F_s；步骤7、利用步骤6中得到的最终的特征F_v与F_s进行广义平均池化得到特征向量f_v^{和特征向量}f_s；步骤8、计算损失函数；步骤9、计算输入光学图像特征与SAR数据库中所有图像特征向量之间的欧氏距离；步骤10、对步骤9中得到的欧氏距离Dist(f_v,f_s)按照从小到大排序，其对应的遥感图像即为检索结果。

2.根据权利要求1所述的局部特征增强光学SAR遥感图像跨模态检索方法，其特征在于，所述得到光学相似度矩阵R^v以及SAR相似度矩阵R^s，包括：

其中，和分别为光学相似度矩阵以及SAR相似度矩阵第i行第j列的元素，|·|₂为特征向量模的大小，R^v与R^s维度均为m×m。

3.根据权利要求2所述的局部特征增强光学SAR遥感图像跨模态检索方法，其特征在于，所述利用步骤6中得到的特征F_v与F_s进行广义平均池化得到特征向量f_v和特征向量f_s，包括：

其中，f_v与f_s为特征向量，Fv,ij与Fs,ij为光学与SAR特征图上每一像素的值，p为一超参数。