[发明专利]基于卷积神经网络与显著性权重的图像融合方法

说明书

本发明公开的基于卷积神经网络与显著性权重的图像融合方法，属于图像信息融合技术领域。本发明通过导向滤波实现源图像的基础层和细节层的分解，得到源图像的细节层和基础层；利用显著性权重对分解后的基础层进行融合，得到对比度增强的融合后的基础层图像；对源图像细节层进行多分辨率奇异值分解，将分解后源图像细节层进行卷积神经网络多层特征提取与融合，获得包含精细细节的源图像细节层融合，重构得到高质量融合图像。本发明获得的高质量融合图像具有较高的对比度信息，包含源图像的细节层信息，有助于突出显著性目标，提高目标识别的检测效率。此外，本发明根据实际融合需求，改变方法中的网络结构，实现不同的融合效果，具有较强的通用性。

技术领域

本发明涉及一种基于卷积神经网络与显著性权重的图像融合方法，特别是涉及图像在卷积神经网络中融合方法，属于图像信息融合技术领域。

背景技术

通过各种传感器获得的多传感器数据通过图像融合提供补充信息。与来自单个传感器的图像相比，图像融合产生了良好的可视化和丰富的信息。因此，它被广泛应用于许多领域，如遥感，模式识别，医学成像和军事。

一般图像融合方法分为四类:(1)多尺度分解；(2)稀疏表示；(3)空间域变换；以及(4)混合变换。自拉普拉斯金字塔的融合方法提出，基于多尺度分解理论的典型图像融合方法已应用于图像融合。此外，在该领域中已经提出了大量基于多尺度变换的图像融合方法。一些例子是形态金字塔，离散小波变换，双树复数小波变换，非下采样轮廓波变换，以及非下采样的基于剪切变换的方法。基于稀疏表示的方法建立在信号稀疏理论的基础上，其中自然信号可以近似表示为来自字典的“少数”原子的线性组合。与基于多尺度分解和基于稀疏表示的方法不同，基于空间域的方法将图像在不同的变换空间计算，例如PCA和IHS。基于混合变换的方法同时使用多种变换方法，旨在结合各种变换的优点以实现高融合效果。然而，这些方法增加了时间消耗。

最近，深度学习在许多图像处理任务中取得了优异的性能，例如图像抠图，识别和分类。此外，深度学习在图像融合中的应用已经在很大程度上引起了学术界的关注。当前已经实现了使用卷积神经网络来实现多焦点图像与红外/可见光图像融合。然而，对于实际应用，这种方法有两个缺点：1)基层的“平均”融合方案容易降低图像的对比度；2)VGG-19网络提取的图像特征相对较大，导致失去了细节。

发明内容

本发明公开的基于卷积神经网络与显著性权重的图像融合方法要解决的技术问题是：提高融合图像的对比度，增强融合图像的精细细节，提高融合图像质量。本发明融合后的高质量图像能够为后续的目标识别，目标探测等提供有力支撑，为解决图像融合领域相关工程问题提供支持。

本发明的目的是通过下述技术方案实现的。

本发明公开的基于卷积神经网络与显著性权重的图像融合方法，通过导向滤波实现源图像的基础层和细节层的分解，得到源图像的细节层和基础层。利用显著性权重对分解后的基础层进行融合，得到对比度增强的融合后的基础层图像。同时对源图像细节层进行多分辨率奇异值分解，将分解后的源图像细节层进行卷积神经网络多层特征提取与融合，获得包含精细细节的源图像细节层融合。最终重构得到高质量融合图像。该方法获得的高质量融合图像具有较高的对比度信息，包含源图像的细节层信息，有助于突出显著性目标，提高目标识别的检测效率。此外，根据实际融合需求，改变方法中的网络结构，实现不同的融合效果，具有较强的通用性。

本发明公开的基于卷积神经网络与显著性权重的图像融合方法，包括如下步骤：

步骤一：利用导向滤波实现源图像的基础层和细节层的分解，得到源图像的细节层和基础层。

源图像导向滤波分解公式为：

其中