[发明专利]一种保持显著性信息的红外与可见光图像变分融合方法

说明书

本发明公开了一种保持显著性信息的红外与可见光图像变分融合方法，属于多源图像融合技术领域。该方法首先获得两幅待融合源图像的显著图；然后构造基于待融合源图像的显著图的权重函数，形成加权融合项；再构造加权结构张量，通过加权结构张量的最大特征值和相应的特征向量获得目标梯度，形成“梯度融合项”；最后建立并求解保持显著性信息的图像融合变分优化问题。本发明提出保持显著性信息的图像变分融合方法可以有效地增强源图像的显著性信息，相比于GTF方法，本发明方法不仅在增强目标特征方面更有效，而且还保留了背景细节等信息。在主客观评价方面本发明均优于现有几种流行的图像融合方法。

技术领域

本发明属于多源图像融合技术领域，具体涉及一种保持显著性信息的红外与可见光图像变分融合方法。

背景技术

当前，视觉目标检测系统大多利用可见光成像设备，其优势在于可获得纹理细节丰富，且与人眼感受一致的可见光图像，便于计算机视觉算法处理。然而，可见光成像设备易受成像场景中气候、光照等环境因素影响，尤其当目标被遮蔽时，检测任务几乎无法实现，此时有必要借助不同成像机理的成像源(如红外、合成孔径雷达等)提供场景的互补信息。在后期处理中，借助多源图像融合技术将可见光和其他模态的图像进行像素级融合，以获得对成像场景更准确的表达。

在诸多其他类型的成像设备中，红外传感器能够通过采集目标的热辐射准确获取目标的轮廓特征，在光线较暗或目标被遮蔽等情况下优势明显，因而获得越来越广泛的应用。然而，红外图像纹理模糊、信噪比低的缺点使得单独使用红外图像进行目标检测也存在一定困难。因此，红外与可见光图像融合方法获得大量研究。在图像融合的实际应用中，由于待检测目标的位置在源图像中难以提前预知，因此可以考虑将源图像的显著区域(代表视觉注意力的焦点)作为图像融合方法的先验信息，在融合过程中突显这些区域，可以有效增强目标特性。

时至今日，已经出现一些凸显源图像显著性的多源图像融合方法，在这些现有方法中，变分融合方法在增强源图像视觉显著信息方面表现尤为突出，其中：在早期的研究中，Socolinsky和Wolff(参考文献[1]：D.A.Socolinsky,L.B.Wolff.“Multispectralimage visualization through first-order fusion,”IEEE Transactions on ImageProcessing,vol.11,no.8,pp.923-931,Aug.2002)提出利用图像的一阶对比度信息来增强图像融合效果，这项工作被视为凸显视觉显著性的方法原型；Gemma Piella(参考文献[2]：G.Piella.“A variational approach for image fusion visualization,”inProc.European Signal Processing Conference,Lausanne,Switzerland,2008,pp.1-5；参考文献[3]：G.Piella.“Image Fusion for Enhanced Visualization-A VariationalApproach,”International Journal of Computer Vision,vol.83,no.1,pp.1-11,Jan.2009)提出一种用于任意数量图像融合的变分框架，该框架可以保持显著信息并增强图像对比度，其基本思想是利用源图像的结构张量构建全重来获得融合结果的结构张量；Wang(参考文献[4]：W.W.Wang,P.L.Shui,X.C.Feng.“Variational Models for Fusionand Denoising of Multifocus Images,”IEEE Signal Processing Letters,vol.15,pp.65-68,Sep.2008)提出一种用于图像融合和去噪的变分模型，该变分模型利用局部平均梯度建立用于融合的加权函数族；Ma(参考文献[5]：J.Ma,C.Chen,C.Li,et al.“Infraredand visible image fusion via gradient transfer and total variationminimization,”Inf.Fusion,vol.31,pp.100-109,Feb.2016)提出一种基于梯度传递和全变差最小化的红外与可见光图像融合方法，在所建立的优化问题中，保真项保持红外图像的主要亮度分布，正则项保持可见光图像的梯度变量。