[发明专利]基于深度学习的红外图像与可见光图像配准方法

说明书

本发明属于图像处理与计算机视觉技术领域，涉及一种基于深度学习的红外图像与可见光图像配准方法，包括根据可见光图像得到生成图像；根据红外图像和生成图像得到控制点的位移矢量和空间变换器的局部变形参数；空间变形器和重采样器根据红外图像得到变形图像；将变形图像与生成图像送入判决网络中判别，并将两图像的差异作为损失函数反向传播以优化网络；若判决网络不能分辨出真实样本和来源于生成器的伪样本，则认为网络已达到最优，得到的变形图像即为最后配准结果；本发明第一阶段利用少量监督信息生成红外图像，第二阶段基于卷积神经网络做可变形图像配准，从而实现了可见光图像与红外图像间的配准。

技术领域

本发明属于图像处理与计算机视觉技术领域，涉及一种基于深度学习的红外图像与可见光图像配准方法。

背景技术

可见光图像与红外图像属于两种不同的形态，红外图像根据物体的热辐射成像，具有丰富热辐射信息，且不受光线、背景杂波、成像距离的影响；但是，红外图像会丢失纹理、结构等细节。可见光图像具有丰富的颜色和纹理信息，然而，可见光图像很容易受到照明，遮挡等因素的影响。红外图像和可见光图像包含的信息具有互补性，其互补性在检测和识别，模式识别的场景分析，遥感图像，医学图像，现代军队，夜间监视等领域有广泛的应用。为充分利用可见光图像与红外图像的互补信息，配准两种图像是最基本和最关键的步骤。图像配准即在变换空间中寻找一种最优的变换，使两幅图像通过该变换能实现转换。

目前，关于图像配准的方法主要分为三种：第一种是基于区域的方法，这类方法直接处理图像强度值，通过计算两个图像中滑动窗口对的相似性，并考虑最相似的部位作为对应关系；第二种是基于特征的方法，这类方法是通过确定的显著特征定义相似性约束以找到特征之间的空间变换。但是由于红外线频谱通常分辨率低且模糊，难以提取可靠的关键点特征，基于特征的方法通常不能很好地在红外和可见图像配准任务上工作。第三种是基于卷积神经网络的方法，现存的方法中，配准图像对是相同的图像光谱或者差别很小的图像光谱，基于提取的特征的差异直接训练卷积神经网络。然而，由于红外图像和可见光图像之间的巨大的成像差异，该训练方法不适用于红外和可见光图像的配准问题。基于以上分析，我们认为可以用生成对抗网络将可见光图像转换为可见光图像，在同一种形态下用卷积神经网络学习图像对中关于局部位移的特征表示，从而实现红外与可见光图像的配准。

发明内容

为了实现红外与可见光图像的配准本发明提出一种基于深度学习的红外图像与可见光图像配准方法，包括以下步骤：

S1、将同一场景的红外图像和可见光图像裁剪到固定尺寸并拼接在一起，将拼接后的图像分为训练集和测试集；

S2、将可见光图像作为输入，对应的红外图像作为标签训练生成对抗网络，得到由可见光图像生成的生成图像；

S3、使用固定尺寸滑动窗口在红外图像和生成图像上滑动，将两幅图像相同位置的图像块成对送入卷积神经网络，得到控制点的位移矢量和空间变换器的局部变形参数；

S4、空间变换器根据局部变形参数和控制点的位移矢量生成密集位移矢量场，然后重采样器利用密集位移矢量场将原红外图像变形为类似生成图像的变形图像；

S5、将变形图像与生成图像送入判决网络中判别，并将两图像的差异作为损失函数反向传播以优化网络；若判决网络不能分辨出真实样本和来源于生成器的伪样本，则认为网络已达到最优，得到的变形图像即为最后配准结果。

优选的，步骤S1具体包括：将可见光图像与红外图像裁剪到256×256的固定尺寸，可见光图像像素值从[0,1]转化为[-1,1]；可见光图像颜色通道的输入值从[-110,110]转化为[-1,1]。