[发明专利]基于残差网络和SIFT的多源高分辨率遥感图像自动配准方法

说明书

本发明公开了基于残差网络和SIFT的多源高分辨率遥感图像自动配准方法，包括通过高分辨率遥感图像构建样本集进行残差网络模型训练；利用迁移学习对整个网络微调，得到适合高分辨率遥感图像配准的训练模型；采用两种残差网络，将两种网络的最后一个卷积层的输出值作为残差网络的特征，从图像上提取以特征点为中心的图像块，利用微调的残差网络模型对图像块进行特征描述，获得特征描述符；通过基于融合特征的自动配准，获取配准图像。本发明通过融合低层的SIFT特征与高级的残差网络特征，获得更接近真实的描述符，适用于大幅高分辨率遥感图像以及具有较大地形起伏的高分辨率遥感图像，有望提高高分辨率图像用于地物变化检测等应用的精度。

技术领域

本发明涉及遥感图像处理技术领域，具体来说，涉及基于残差网络和SIFT的多源高分辨率遥感图像自动配准方法。

背景技术

遥感卫星获取的影像分辨率越来越高，图像配准的相关研究也进入了高分辨率时代。因为影像的地物纹理细节可以在高分辨率影像上表现的较为复杂，加大了高分辨影像进行图像配准的难度，与低分辨率影像相对挑战性增大。因此，目前学者的研究重点一直集中在多源遥感影像高分辨率配准上。

目前依据配准应用的算法差异，基本可分为两类：基于灰度的自动配准方法和基于特征的自动配准方法。基于灰度的自动配准方法是直接利用图像的灰度信息，通过互相关、互信息等方法建立两幅图像之间的相似性度量来获取匹配点；基于特征的自动配准方法是通过提取图像中的点特征、线特征以及区域特征等进行影像特征间的匹配，其中点特征以其容易获取、运行时间短、鲁棒性高等优势，在图像配准中得到了广泛应用。目前点特征的提取算法主要包括Moeavec角点检测算法、Harris角点检测算法、Shi_Tomasi角点检测算法、尺度不变特征变换算法(SIFT)、加速稳健特征算法(SURF)、基于快速傅里叶变换算法(FAST)等。在各种算法中，SIFT以其提取的特征点能够有效的保持亮度、旋转和尺度不变性而得到了广泛的应用，但它容易受图像噪声和纹理变化的影响而不稳定。因此，一些研究人员基于SIFT算法提出了一系列的改进算法。通过改进特征点提取或特征点描述来达到加快匹配速度或提高配准精度的目的。但是在多源高分辨率遥感图像的数据量大以及包含复杂地形等情况下，无法完成图像的高精度配准。

残差网络(Residual Network,ResNet)是卷积神经网络(convolutional neuralnetworks,CNNs)的一种，是深度学习的代表算法之一。自2006年深度学习理论提出后，CNNs已成功应用于ImageNet图像分类、MNIST手写数字识别等。相比其他CNNs存在随着网络结构深度增加，网络会出现梯度弥散以及准确率退化的问题，ResNet通过增加残差单元来转换学习对象，在网络深度增加的情况下没有增加运算量。它的网络结构除了可以很好适应图像的结构之外，还可以对图像特征进行提取，得到更加真实的图像特征。因此，将残差网络应用到遥感图像配准中有望进一步改善图像配准的精度。

发明内容

针对相关技术中的上述技术问题，本发明提出基于残差网络和SIFT的多源高分辨率遥感图像自动配准方法，能够克服现有技术方法的上述不足。

为实现上述技术目的，本发明的技术方案是这样实现的：

基于残差网络和SIFT的多源高分辨率遥感图像自动配准方法，包括残差模型训练和基于融合特征的自动配准。

残差网络模型训练包括通过构建高分辨率遥感图像样本集，进行残差网络模型训练；利用迁移学习对网络微调。构建高分辨率遥感图像样本包括特征采集和特征样本的图像变换，利用Shi Tomasi和SIFT算法在已配准图像上提取的匹配点，以匹配点为中心截取64×64像元的图像块，对每个图像块进行随机的图像变换，包括图像缩放、旋转、亮度变换；利用迁移学习对网络微调是在残差网络模型的训练过程中，为了避免样本集包括部分特征而导致的局限性，通过引入ImageNet数据库，对整个网络进行微调。