[发明专利]基于深度学习的红外图像与可见光图像配准方法

权利要求书

1.基于深度学习的红外图像与可见光图像配准方法，其特征在于，包括以下步骤：

S1、将同一场景的红外图像和可见光图像裁剪到固定尺寸并拼接在一起，将拼接后的图像分为训练集和测试集；

S2、将图像的可见光图像作为输入，图像的红外图像作为标签训练生成对抗网络，在对抗网络中得到该可见光图像的生成图像；

S3、使用固定尺寸滑动窗口在红外图像和生成图像上滑动，将两幅图像相同位置的图像块成对送入卷积神经网络，得到控制点的位移矢量和空间变换器的局部变形参数；

S4、空间变换器根据局部变形参数和控制点的位移矢量生成密集位移矢量场，然后重采样器利用密集位移矢量场将红外图像变形为类似生成图像的变形图像；

S5、将变形图像与生成图像送入判决网络中判别，并将两图像的差异作为损失函数反向传播以优化卷积神经网络；若判决网络不能分辨出真实样本和来源于生成器的伪样本，则认为网络已达到最优，得到的变形图像即为最后配准结果。

2.根据权利要求1所述的基于深度学习的红外图像与可见光图像配准方法，其特征在于，步骤S1中红外图像和可见光图像裁剪到256×256的固定尺寸。

3.根据权利要求2所述的基于深度学习的红外图像与可见光图像配准方法，其特征在于，将裁减后的可见光图片压缩压缩到红外图像的颜色范围内，即将可见光图像颜色通道的输入值从[-110,110]转化为[-1,1]，并将可见光图像像素值从[0,1]转化为[-1,1]。

4.根据权利要求1所述的基于深度学习的红外图像与可见光图像配准方法，其特征在于，步骤S2中对抗网络包括生成网络和判决网络，在生成网络中，将可见光图像和随机噪声作为生成网络的输入，生成网络根据可见光图像和随机噪声多个不同的红外图像的伪样本，即生成图像，其中生成图像的数据分布服从可见光图像数据分布；判决网络对图像来源做二分类判别：来源于真实样本或来源于生成器的伪样本；在训练阶段，判决网络对生成图像和红外图像的来源进行判别；若判决网络能分辨出生成图像和红外图像的来源，将生成图像和红外图像的差异作为损失函数反馈给生成网络，生成网络、判决网络和生成网络与判决网络之间的反馈共同构成对抗网络。

5.根据权利要求1所述的基于深度学习的红外图像与可见光图像配准方法，其特征在于，步骤S3具体包括：

S31、用滑动窗口取原红外图像与生成图像相同位置的图像块，成对送入卷积神经网络；滑动窗口取步长为1，遍历整个图像；

S32、经过四个交替的3×3的零填充卷积层和2×2的平均池化的下采样层，保留输入图像的高阶特征；

S33、经过3个1×1的全连接层学习图像中对于局部位移很重要的特征表示，并输出空间对应的原红外图像和生成图像对的变形参数。

6.根据权利要求1所述的基于深度学习的红外图像与可见光图像配准方法，其特征在于，所述将两图像的差异作为损失函数反向传播以优化网络包括：计算变形图像与生成图像之间的结构相似性SSIM_X,F，并将变形图像与生成图之间的不相似型1-SSIM_X,F作为损失函数反向传播以优化网络；两个图像之间的结构相似性SSIM_X,F的定义为：

其中，SSIM_X,F表示生成图像X和变形图像F之间的结构相似性，x表示在大小为M×N的局部窗口中生成图像的图像块，f表示在大小为M×N的局部窗口中变形图像的图像块；σ_x表示生成图像的标准差，σ_x表示变形图像的标准差，σ_xf是生成图像和变形图像的标准协方差，μ_x表示生成图像的平均值，μ_f表示变形图像的平均值；C₁、C₂以及C₃为算法稳定参数。

7.根据权利要求1所述的基于深度学习的红外图像与可见光图像配准方法，其特征在于，在进行红外图像和可见光图像的拼接之前，对可见光图像进行高斯滤波处理，对红外图像进行线性增强处理。