[发明专利]一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法

说明书

本发明涉及图像领域，具体为一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法，有效的解决了红外与可见光图像融合中的特征损失严重、显著目标不突出的问题。通过DLatLRR将源图像分解为低秩部分、显著部分及稀疏噪声，并基于VGG 16的特征提取算法对低秩部分进行融合，最后对融合后的低秩部分和显著部分进行图像重建得到融合图像。本发明算法的融合图像不仅清晰度高、层次鲜明，细节信息丰富，受噪声影响小，而且图像的对比度较高，场景中的显著区域、目标相对更加突出。

技术领域

本发明涉及图像领域，具体为一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法。

背景技术

图像融合作为信息融合技术的一个重要分支，能够整合多幅图像所包含的有效信息，得到空间分辨率与光谱分辨率较高的融合图像。可见光传感器所成图像空间分辨率高、背景信息丰富，但是成像易受环境影响；红外传感器所成的图像虽然质量差，但是成像稳定，二者在时空上的相关性与场景描述时的信息互补性为其融合提供了可能。

目前，国内外众多学者对红外与可见光图像融合算法进行了研究。如：基于滤波的图像融合采用滤波算法将图像分解为不同的图像层，通过分层融合实现红外与可见光图像的融合。基于变换域的图像融合采用多尺度几何变换将图像分解为不同的子带，通过子带的融合实现红外与可见光图像的融合。基于稀疏域的图像融合采用学习字典对图像进行稀疏表示，通过稀疏向量的融合实现红外与可见光图像的融合。随着深度学习的兴起，新型的卷积神经网络已逐渐渗透到图像融合领域，以其强大的自主学习能力提取图像的深层次特征辅助图像的融合。

发明内容

针对红外与可见光图像融合中的特征损失严重、显著目标不突出的问题，本发明提供了一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法，通过DLatLRR将源图像分解为低秩部分、显著部分及稀疏噪声，并基于VGG 16的特征提取算法对低秩部分进行融合，最后对融合后的低秩部分和显著部分进行图像重建得到融合图像。本发明算法的融合图像不仅清晰度高、层次鲜明，细节信息丰富，受噪声影响小，而且图像的对比度较高，场景中的显著区域、目标相对更加突出。

为了实现所述目的，本发明采用的具体实施方案如下：

一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法，包括：

S1、对红外与可见光图像进行潜在低秩表示DLatLRR(分解)，得到对应的低秩部分、显著部分及稀疏噪声；

S2、分别采用VGG·Net模型和联合特征加权算法分别对低秩部分与显著部分进行融合；

S3、对融合得到的低秩部分和显著部分进行图像重建，得到融合图像。

所述对红外与可见光图像进行潜在低秩表示DLatLRR的方式为：

S101、确定LatLRR的红外与可见光图像数学模型；

S102、分别对数据模型中矩阵组合进行双极性优化处理，得到图像低秩部分、显著部分及稀疏噪声。

所述低秩部分融合步骤为：

S2011、将红外与可见光图像的低秩部分分别输入VGG·16网络，提取第i个卷积组的输出，根据L1范数对输出的多通道特征图进行压缩，得到单通道特征图；

S2012、根据单通道特征图，计算初始的归一化自适应权重；

S2013、采用上采样对归一化自适应权重的图形进行尺寸重整，得到尺寸大小与原始低秩部分一致的四组权重图，并以此分别对红外与可见光图像的低秩部分进行融合；

S2014、对四组权重融合后的低秩部分根据绝对值最大准则同一位置的四个值进行选取，得到融合的低秩部分。

所述显著部分融合步骤为：