[发明专利]一种基于联合卷积自编码网络的图像融合方法

摘要

一种基于联合卷积自编码网络的图像融合方法，属于图像融合领域。主要解决图像融合时数据集和标签不足，图像经过联合卷积自编码网络得到端到端的融合结果等问题。本发明首先，在训练过程中用联合卷积自编码网络模型同时训练待融合图像集，设计适用于图像融合的多任务损失函数进行训练。测试过程中，两幅待融合图像输入到网络模型中，经过网络编码层得到公共特征和私有特征，根据其特征的冗余和互补的特性设计融合规则，实现特征层的融合，融合后的特征映射经解码重构后得到融合图像。本发明能充分利用自编码神经网络的特点整合待融合图像的互补与冗余信息制定融合策略，有效保护图像细节，相比传统的融合方法极大地提高了融合图像的质量。

主权项

1.一种基于联合卷积自编码网络的图像融合方法，其特征在于，步骤如下：步骤一、训练联合卷积自编码网络待融合图像作为训练数据集，并输入网络进行训练，达到输入图像经过联合卷积自编码网络重构源图像的目的；在训练过程中利用多任务损失函数的方法，将融合评价指标MSE、SSIM、熵和梯度引入联合卷积自编码的损失函数；步骤二、测试联合卷积自编码网络测试过程中，两幅待融合图像输入联合卷积自编码网络中，分别得到两输入的隐含层的公共特征和私有特征；步骤三、观察输入图像经过联合卷积自编码网络的隐含层得到的特征，嵌入待融合图像先验的冗余和互补关系，采用不同的融合规则分别确定融合图像的特征层融合方法；所述的融合规则包括：3.1)对表征图像细节信息的私有特征，采用特征取大的融合规则进行融合；3.2)对公共特征，根据特征映射的形态不同设定阈值区分特征形态，采取以下两种融合规则进行融合：(a)对表征图像互补信息的公共特征，采用特征取大的融合规则进行融合；(b)对表征图像冗余信息的公共特征，采用加权融合规则进行融合；步骤四、对步骤三所得融合后的公共特征和私有特征，分别输入联合卷积自编码网络的解码层；步骤五、对解码后的公共特征和私有特征进行融合，得到最终的融合图像。