[发明专利]结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法

说明书

本发明涉及计算机信息技术领域，公开了一种结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法，本发明对可见光图像和红外图像进行预处理，通过潜在低秩表示将图像分解为显著部分和低秩部分，使用两个全卷积模型分别对显著部分和低秩部分进行融合，最后将融合后的显著部分和融合后的低秩部分相加得到最终的融合图像。通过本发明融合得到的融合结果细节信息丰富，相比于原来的低照度图像，场景目标更加清晰，图像的对比度提升。

技术领域

本发明涉及计算机，图像融合和智能监控领域，具体涉及一种结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法。

背景技术

图像融合在于从不同传感器获取的图像中提取出最有意义的部分，然后将它们组合成一幅图像，融合图像中包含了更多的场景描述信息，更方便后续的应用。红外和可见光图像融合具有独特的优势。红外传感器将物体的热辐射捕捉到图像上，因此红外图像不易受复杂环境的影响，可以更好地将物体与背景区分开来，但这也导致细节信息不足，对比度低。可见光传感器捕捉环境的反射光，成像容易受环境影响，但可见光图像涵盖了丰富的细节信息，符合人眼的感知。这两张图像的融合可以同时获得场景几乎所有的固有属性，包括细节信息和目标信息，因此红外和可见光图像的融合比其他融合可以应用到更多的领域。

现有的红外与可见光图像融合方法根据融合理论可大致分为七种，即基于多尺度变换、稀疏表示、神经网络、子空间、显著性的方法、混合模型以及其它方法。基于多尺度变换的方法将源图像分解成不同部分，根据相应的融合规则融合这些部分，然后使用融合后的部分重构融合图像。基于多尺度变换的方法大多采用人工制定的融合策略，而且高度依赖于多尺度变换方法，导致提出新方法越来越困难。基于稀疏表示的方法旨在从大量高质量自然图像中学习一个过完备字典对源图像进行稀疏表示，融合规则作用于稀疏系数，最后根据融合后的稀疏系数使用学到的过完备字典恢复融合图像。对于基于稀疏表示的方法而言，系数的编码技术对融合性能起着至关重要的作用，而且构造具有目标数据的良好表示的合适的过完备字典仍然很困难。基于神经网络的方法利用神经网络强大的学习能力来融合图像，但是设计一个适合的神经网络是十分具有挑战性的。基于子空间的方法通过去除图像中的冗余信息将图像投影到低维空间或者子空间，因为低维空间有助于捕捉原始图像的固有结构，存在的问题则是找到一个具有强大表示能力的子空间很困难。基于显著性的方法根据人眼视觉系统的机制保留显著目标区域并且可以提高融合图像的质量，然而怎样充分利用显著区域则一直都没有一个准确答案。混合模型则是结合上述方法的优点来提高融合图像的质量。除了以上几种方法外，还有一些使用其它理论的融合方法如基于模糊理论的方法、基于马尔科夫随机场的方法等。

为了获得更好的融合性能，基于多尺度变换的方法会趋于设计越来越复杂的融合策略，导致方法实施有困难而且设计出的规则也不能确保充分利用了分解后的图片的特征，而基于神经网络的方法则会设计更加复杂的网络结构和损失函数，会使得设计一个适用于融合的模型非常困难。

发明内容

为了克服上述问题，本发明提出了一种结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法，在避免了设计复杂的融合规则和构造复杂的网络结构的同时可以获得更好的融合效果。本发明的技术方案为：

一种结合潜在低秩表示和卷积神经网络的红外和可见光图像融合方法，包括以下步骤：

步骤1：获取红外和可见光图像融合数据集，扩充数据集作为神经网络的训练集；

步骤2：将训练集中的所有图像均通过潜在低秩表示计算，得到相应的投影矩阵；

步骤3：将训练集图像和投影矩阵做矩阵乘法，得到图像的显著部分，用源图像减去显著部分得到图像的低秩部分；

步骤4：通过所述低秩部分训练背景模型，通过所述显著部分训练显著模型，所述背景模型和显著模型结构均为由五层全卷积神经网络构成的主干网络；

步骤5：背景模型采用梯度损失函数和结构相似性损失函数，显著模型采用像素强度损失函数和结构相似性损失函数；