[发明专利]一种基于联合卷积自编码网络的图像融合方法

权利要求书

1.一种基于联合卷积自编码网络的图像融合方法，其特征在于，步骤如下：

步骤一、训练联合卷积自编码网络

待融合图像作为训练数据集，并输入网络进行训练，达到输入图像经过联合卷积自编码网络重构源图像的目的；在训练过程中利用多任务损失函数的方法，将融合评价指标MSE、SSIM、熵和梯度引入联合卷积自编码的损失函数；

所述的联合卷积自编码网络的训练结构为：

自编码网络分为编码层和解码层；编码层有一个公共分支和两个私有分支，公共分支权重共享，私有分支权重不共享；公共分支和私有分支结构相同，都由两层卷积层、一层池化层和一层卷积层组成；解码层由对应的卷积层、上采样层和卷积层组成；解码层中，权重共享以合并先前学习的私有特征和公共特性，达到重构输入图像的目的；激活函数采用“Relu”；

所述的多任务损失函数的表达式为：

loss＝L_mse+λ₁·L_ssim+λ₂L_entropy+λ₃L_gradient      (1)；其中：

L_ssim＝1-SSIM(O,I)   (3)

L_entropy＝|EN_O-EN_I|    (5)

式中：L_mse表示指标MSE；L_ssim表示指标SSIM；L_entropy表示熵；L_gradient表示梯度；λ₁表示SSIM的loss权重参数100；λ₂表示熵的loss权重参数10；λ₃表示梯度的loss权重参数100；H表示源图像的长；W表示源图像的宽；x表示图像像素点的横坐标值；y表示图像像素点的纵坐标值；I(x,y)表示融合图像在(x,y)位置的像素值；O(x,y)表示源图像在(x,y)位置的像素值；SSIM(O,I)表示源图像与融合图像的结构相似性；EN表示源图像与融合结果的熵差；g表示灰度值为g的像素；p(g)表示灰度值为g的像素个数所占图像所有像素的比值；EN_O表示融合图像的熵；EN_I表示源图像的熵；ΔI_x表示水平方向上的差分、ΔI_y表示垂直方向上的差分；

步骤二、测试联合卷积自编码网络

测试过程中，两幅待融合图像输入联合卷积自编码网络中，分别得到两输入的隐含层的公共特征和私有特征；

步骤三、观察输入图像经过联合卷积自编码网络的隐含层得到的特征，嵌入待融合图像先验的冗余和互补关系，采用不同的融合规则分别确定融合图像的特征层融合方法；所述的融合规则包括：

3.1)对表征图像细节信息的私有特征，采用特征取大的融合规则进行融合；

3.2)对公共特征，根据特征映射的形态不同设定阈值区分特征形态，采取以下两种融合规则进行融合：

(a)对表征图像互补信息的公共特征，采用特征取大的融合规则进行融合；

(b)对表征图像冗余信息的公共特征，采用加权融合规则进行融合；

步骤四、对步骤三所得融合后的公共特征和私有特征，分别输入联合卷积自编码网络的解码层；

步骤五、对解码后的公共特征和私有特征进行融合，得到最终的融合图像。

2.根据权利要求1所述的一种基于联合卷积自编码网络的图像融合方法，其特征在于，所述步骤二中，所得两输入的隐含层的公共特征为和私有特征为i＝1:M，其中i表示联合卷积自编码网络隐含层的维度数目，A、B分别代表待融合的两幅图像；

所述步骤3.1)中，所述特征取大的融合规则具体如下：

逐元素比较经过隐含层输出的私有特征映射值的大小，确定特征映射位置(p,q)处的值为融合后特征映射对应位置(p,q)处的值；

其中，和为输入的源图像经过编码层得到的隐含层某一维度的特征映射，F_S为融合后的特征映射；(p,q)为特征映射对应的位置；m表示所有特征映射中的某一张特征映射。