[发明专利]基于特征联合驱动的异源图像配准方法及其装置

权利要求书

1.一种基于特征联合驱动的异源图像配准方法，其特征在于，包括：

获取已配对的光学场景图和合成孔径雷达场景图；

获取所述光学场景图中的特征点和所述合成孔径雷达场景图中的特征点，并以所述光学场景图中特征点为中心对所述光学场景图进行裁切，获取光学场景图切片，以所述合成孔径雷达场景图中的特征点为中心对所述合成孔径雷达场景图进行裁切，获取合成孔径雷达场景图切片；

构建基于特征联合驱动的匹配网络模型，并对该模型进行训练，得到训练好的特征联合驱动的匹配网络模型，根据训练好的特征联合驱动的匹配网络模型获取所述光学场景图切片对应的物理结构特征和深层语义特征，以及获取所述合成孔径雷达场景图切片对应的物理结构特征和深层语义特征；将所述光学场景图切片对应的物理结构特征和深层语义特征进行首尾拼接，得到光学场景图切片的特征向量；将所述合成孔径雷达场景图切片对应的物理结构特征和深层语义特征进行首尾拼接，得到合成孔径雷达场景图切片的特征向量；其中，所述基于特征联合驱动的匹配网络模型包括特征提取模块、特征融合模块和匹配模块，所述特征提取模块包括第一分支模块和第二分支模块，所述第一分支模块为RIFT模型，所述第二分支模块为HardNet模型；

获取所述光学场景图切片的特征向量中的各特征与所述合成孔径雷达场景图切片的特征向量中各特征之间的距离，根据最近邻匹配策略得到所述光学场景图和所述合成孔径雷达场景图中的匹配点对，并根据RANSAC剔除错误匹配点，使用剩余匹配点对所述光学场景图和所述合成孔径雷达配准。

2.根据权利要求1所述的基于特征联合驱动的异源图像配准方法，其特征在于，所述RIFT模型包括：

使用二维对数Gabor卷积序列构建所述光学场景图切片的最大索引图，以及使用二维对数Gabor卷积序列构建所述合成孔径雷达场景图切片的最大索引图；

根据所述光学场景图切片的最大索引图，构建对应的第一分布直方图，以获取光学场景图切片的物理结构特征；根据所述合成孔径雷达切片的最大索引图，构建对应的第二分布直方图，以获取合成孔径雷达切片的物理结构特征。

3.根据权利要求2所述的基于特征联合驱动的异源图像配准方法，其特征在于，所述使用二维对数Gabor卷积序列构建所述光学场景图切片的最大索引图包括：

获取二维对数Gabor滤波器，其表达式为：

其中，(ρ,θ)为对数极坐标，s为滤波器的尺度，o为滤波器的方向，(ρ_s,θ_so)为滤波器的中心频率，σ_ρ为ρ的带宽，σ_θ为θ的带宽；

将二维对数Gabor滤波器经过傅里叶逆变换，得到空间域滤波器L(x,y,s,o)，其表达式为：

L(x,y,s,o)＝L^even(x,y,s,o)+iL^odd(x,y,s,o)；

其中，实部L^even(x,y,s,o)和虚部L^odd(x,y,s,o)分别为偶对称滤波器和奇对称滤波器；(x,y)为该空间域滤波器中各点的位置坐标；

将所述光学场景图切片I_o(x,y)与二维对数Gabor滤波器进行卷积，得到第一卷积分量E_so(x,y)和第二卷积分量O_so(x,y)，其表达式为：

[E_so(x,y),O_so(x,y)]＝[I_o(x,y)*L^even(x,y,s,o),I_o(x,y)*L^odd(x,y,s,o)]；

经过尺度为s、方向为o的二维对数Gabor滤波器后，得到卷积图的幅值A_so(x,y)，其表达式为：

将方向为o的所有尺度对应的卷积图的幅值A_so(x,y)求和，得到A_o(x,y)，其表达式为：

其中，N_s为尺度总数；

根据卷积图的幅值和A_o(x,y)，构成N_o层卷积图序列N_o为不同方向数；

基于卷积图序列中的每一像素点(x_j,y_j)，获取其在N_o个方向上的最大值A_max(x_j,y_j)，以及最大值在N_o层卷积图序列中对应的层数ω_max，其表达式为：

获取所述光学场景图切片中的每一像素点，获取其对应的ω_max，并将其作为最大索引图中的每一像素点的像素值，以得到所述光学场景图切片的最大索引图。