[发明专利]一种基于多特征相似度融合的红外和可见光图像匹配方法

说明书

本发明公开了一种基于多特征相似度融合的红外和可见光图像匹配方法，包括以下步骤：对给定的红外和可见光图像进行轮廓提取，并检测轮廓上的显著角点作为特征点；利用特征点左右轮廓信息计算其主方向；对于每一个特征点，确定该点的特征描述参数，构造其PIIFD特征描述符；再依据该点与其它特征点的位置关系构造全局上下文特征描述符；对于两幅图像中的每一对特征点，计算两种特征描述符的相似度，根据特征点的位置分布特性进行加权融合，通过对比各对特征点的相似度实现特征匹配，并剔除异常匹配点对。本发明有效克服实际应用中红外和可见光图像之间拍摄视角、成像分辨率差异大，特征点描述和匹配困难的问题，提高图像特征点匹配的准确率。

技术领域

本发明属于图像特征提取和匹配技术领域，具体涉及一种基于多特征相似度融合的红外和可见光图像匹配方法。

背景技术

由于红外和可见光图像的成像机理不同，导致图像之间的对应区域灰度差异较大，难以提取稳定的特征描述符用于图像匹配，并且在实际应用中，红外和可见光图像之间拍摄视角、成像分辨率等同样存在较大差异，这些特点为红外和可见光图像的匹配带来了严峻的挑战。

红外和可见光图像匹配算法主要分为基于区域的匹配方法和基于特征的匹配方法。相比于基于区域的匹配方法，基于特征的匹配方法计算效率更高，对图像之间的旋转和尺度变化具有更好的鲁棒性，因此，近年来得到更加广泛的研究和应用。

基于特征的图像匹配算法经过了数十年的发展，其中最具代表性的匹配算法是Lowe提出的SIFT算法(D.G.Lowe,Distinctive Image Features from Scale-InvariantKeypoints,International Journal of Computer Vision 60(2)(2004)91-110.)，该方法虽然在红外和可见光图像匹配应用中性能不佳，但是其为后续基于特征的图像匹配算法提供了基本的研究思路。在该算法的基础之上，Chen等人考虑到红外和可见光图像之间存在的灰度差异，提出了一种部分灰度不变特征描述符(J.Chen,J.Tian,N.Lee,J.Zheng,R.T.Smith,A.F.Laine,A partial intensity invariant feature descriptor formultimodal retinal image registration,IEEE Transactions on BiomedicalEngineering,57(7)(2010)1707-1718.)，以克服异源图像之间灰度差异对特征描述的影响，该方法在多模视网膜图像匹配中得到了广泛的应用。Aguilera等人提出了一种边缘朝向直方图描述符(C.Aguilera,F.Barrera,F.Lumbreras,A.D.Sappa,R.Toledo,Multispectral image feature points,Sensors,12(9)(2012)12661-12672.)，采用特征点附近的边缘像素信息对其进行描述。Li等人提出了一种辐射不变特征变换算法(J.Li,Q.Hu,M.Ai,Rift:Multi-modal image matching based on radiation-invariantfeature transform,arXiv preprint arXiv:1804.09493(2018).)，在相位一致性图中提取关键点，并构造一种极大索引图进行特征描述。

上述现有的基于特征的匹配方法大多采用特征点的局部信息构造特征描述符，由于成像机理的不同，红外和可见光图像的局部信息可能存在较大差异，导致现有方法构造的描述符受图像局部信息差异的影响较大，并且在实际应用中，红外和可见光图像往往具有不同的成像分辨率，而现有的特征匹配方法对红外和可见光图像之间的尺度变化缺乏足够的鲁棒性，导致图像匹配的准确率不高。