[发明专利]基于能量最小化和梯度正则化的图像融合方法及装置

说明书

本发明提供的基于l₂能量最小化和l₁梯度正则化的图像融合方法及装置，获取来自同一场景并进行图像配准的红外图像和可见光图像，通过NSST将红外图像和可见光图像进行多尺度、多方向分解，并得到相应的低频子带系数与高频子带系数，针对反映能量信息的低频子带系数，采用基于l₂‑能量最小化的优化模型作为融合规则；针对反映纹理信息的高频子带系数，利用基于l₁‑梯度正则化的优化模型作为融合规则，通过两种融合规则，将隐藏的红外显著目标信息与可见光的梯度纹理信息相结合，使最终的融合图像符合人眼视觉系统，通过将可见光的纹理信息与红外图像的显著性特征完美结合，取得较好的融合效果。

技术领域

本发明涉及图像融合领域，特别涉及一种基于能量最小化和梯度正则化的图像融合方法及装置。

背景技术

图像融合技术将来自多传感器的图像合并为一幅新图像，该图像蕴含了多种类型的信息特征，从而对图像内的场景或目标进行更为精确地描述与理解。目前，图像融合在民用领域和国防领域都有着广泛的应用，其中微光与红外图像融合是目前应用最为广泛的。在光照度不佳的微光条件下，可见光图像成像质量较差，对目标具有不易观察的隐蔽性。而红外图像则根据物体自身的辐射产生图像，可以主动地获取场景中的目标信息，因此能够很好地显示隐藏的热目标。通过两者的有效结合，能在一定情况下克服人眼在微弱光线下视觉特性存在的天然缺陷，延伸人眼的视觉波段范围，有效地形成对比度高、背景增强、目标突出的融合图像[3]。

针对红外与微光融合，学者们提出了许多方法，特别是针对像素级别的图像融合，其中大致可以分为以下两大类：第一类是基于空间域的方法，第二类是基于变换域的方法。空间域方法则是直接对图像的空间像素元进行处理，其中比较有代表性的方法有：稀疏分解(SR)、脉冲式耦合人工神经网络(PCNN)、多尺度顶帽变换(MTH)、结构张量法。由于可见光与红外属于不同波段的光谱，因此其图像的光谱差异性较大。以上方法在对两种源图像直接融合处理时，无法从本质上弥补其像素元较大的光谱差异性，融合图像往往存在对比度偏低的问题。而与空间域方法不同，变换域方法多以多尺度几何分析工具(MGA)作为主要的研究手段。该种方法将像素元的空间灰度值转换到变换域进行处理，一定程度能够减缓源图像之间的光谱差异性。目前人们提出的MGA方法主要有：轮廓波变换、非下采样轮廓波变换(NSCT)、双树复小波变换(DTCWT)、剪切波变换(ST)、非下采样剪切波变换(NSST)等。值得一提的是，在这些众多的MGA方法当中，NSST是最为先进的一种。NSST由合成小波构造而成，由此获得多方向的紧支撑结构，而且它在分解的过程中不存在下采样操作，可以对图像进行最为精细地稀疏分解，因此研究基于NSST的融合方法是很有价值的。NSST方法可将源图像分解成一系列不同尺度、不同频率的子带系数矩阵，然后采用适当的融合规则对其进行处理，最终得到融合图像。最为常见的融合规则就是加权平均法，该方法只是将源图像的亮度进行空间叠加，容易导致融合图像解析度下降，并且丢失很多纹理细节信息。为了能够获得更优良的融合效果，学者们相继利用一些空间域的方法作为NSST的融合规则来弥补加权平均法的缺陷，例如：文献《Zhang Baohua,Lu Xiaoqi,Pei Haiquan,Zhao Ying,A fusionalgorithm for infrared and visible images based on saliency analysis and non-subsampled Shearlet transform[J].Infrared PhysicsTechnology 73(2015)286–297》提出了一种采用NSST和快速非负矩阵分解(FNMF)相结合的融合方法，该算法在针对亮度较低的可见光图像时，融合的图片亮度偏暗，而且丢失了许多可见光的纹理细节；文献《Zhanwen Liu,Yan Feng,Yifan Zhang,Xu Li,A fusion algorithm for infrared andvisible images based on RDU-PCNN and ICA-bases in NSST domain[J].InfraredPhysicsTechnology 79(2016)183–190》将PCNN与NSST相结合处理IR与VI图像融合，虽然PCNN具有仿生机制，但是该模型存在大量外设参数，并且具有朦胧的图像边缘；文献《Weiwei Kong,Technique for gray-scale visual light and infrared image fusionbased on non-subsampled shearlet transform[J].Infrared PhysicsTechnology 63(2014)110-118》提出一种NSST域内基于区域平均能量(RAE)和局部方向对比度(LDC)的融合框架，其时效性较好，但融合后的图像丢失了一些重要的红外显著性信息。