[发明专利]融合SIFT特征和CNN特征的遥感图像配准方法及系统

说明书

本发明提供一种融合SIFT特征和CNN特征的遥感图像配准方法及系统，包括对输入的参考影像和待配准影像进行特征点提取，采用SIFT方式对特征点的邻域区域进行特征表达，获得SIFT特征；将特征点的邻域区域作为卷积神经网络CNN的输入端，使用预先采用迁移学习策略训练完成的CNN模型进行高层特征表达，获取CNN特征；将SIFT特征和CNN特征进行融合，计算相似性，估算参考影像和待配准影像之间几何变换参数，对待配准影像进行几何变换并重采样，获得配准影像。本发明结合传统特征提取的底层特征和基于卷积神经网络提取的高级特征，联合特征能更准确地表达遥感影像内容，极大提高了遥感影像配准精度，具有较强的适应性。

技术领域

本发明属于遥感影像处理技术领域，涉及一种融合SIFT特征和CNN特征的遥感图像配准方法及系统。

背景技术

影像配准是指根据带有地理参考的影像将未配准的影像进行几何纠正的过程，这些影像内容包含相同的区域，可能来源于不同的拍摄时间、不同的传感器或者不同的拍摄视角。影像配准是遥感图像处理领域的基本问题，对后续应用具有重大的影响，如影像融合、变化检测等。

影像配准主要分为影像匹配、几何变换参数估计和影像变换三个步骤，影像匹配是影像配准的基础。因此，类似于影像匹配，影像配准方法大致可以分为基于区域的匹配方法和基于特征的匹配方法。基于区域的配准方法主要使用互信息(Mutual Information，MI)和归一化互相关(Normalized Cross-Correlation，NCC)来度量影像之间的相似性，获得匹配点对并优化估计几何变换参数。虽然该类方法实现简单，但是对影像灰度、几何畸变以及噪声等比较敏感。基于特征的匹配方法使用点、线、面等特征来建立影像间点对的对应关系，能很好地克服基于区域配准方法的不足。在基于特征的配准方法中，最具有代表性的方法为SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)，对于一般图像来说，SIFT描述子具有良好的尺度、旋转不变性，而且对于影像视角变化、明暗变化等也具有一定的不变性，能够很好地提取图像特征，但是SIFT描述子最初是为自然图像设计的，而遥感影像可能是从不同角度、不同传感器、不同时间获取的，在面对复杂的遥感影像时，SIFT描述子不能很好地表达影像内容。除此之外，在面对复杂多样的遥感影像时，需要根据影像特性人工设计相应配准方法，且配准方法的适应性差。

近年来，基于深度学习的特征提取方法得到了快速发展，这是一种数据驱动的方法，能够从影像中自动学习影像特征。但是，基于深度学习的特征提取方法对样本的依赖大，目前已经有许多针对自然图像的样本库，而遥感影像样本库几乎没有，利用人工进行遥感影像标注代价大。并且，目前，基于深度学习的特征提取方法在遥感影像检索、分类和目标识别等领域得到了应用，但是这些方法都不是为遥感影像配准专门设计的，缺乏相应启发。因此，如何利用深度学习技术来解决遥感影像配准中的难点问题是一件很有意义的事情。

发明内容

针对现有技术的不足，本发明提供一种基于多特征融合的遥感图像配准方法及系统，有效地克服SIFT特征提取算子无法准确表达复杂的遥感影像内容，提高了遥感影像配准的精度，并为复杂多样的遥感影像提供了一种新的配准方法，具有较强的适应性。

为实现上述目的，本发明的技术方案提供一种融合SIFT特征和CNN特征的遥感图像配准方法，包括以下步骤：

步骤a，分别对输入的参考影像和待配准影像进行特征点提取；

步骤b，采用SIFT方式对特征点的邻域区域进行特征表达，获得SIFT特征；

步骤c，将特征点的邻域区域作为卷积神经网络CNN的输入端，使用预先训练完成的CNN模型对输入的特征点的邻域区域进行高层特征表达，获取CNN特征；

其中，预先训练CNN模型时，采用迁移学习的策略对CNN模型参数进行优化；