[发明专利]基于卷积神经网络的图像融合方法

权利要求书

1.一种基于卷积神经网络的图像融合方法，包括如下步骤：

S1.获取训练数据集；

S2.构建基于卷积神经网络的图像融合模型；具体为基于卷积神经网络的图像融合模型采用如下步骤进行图像融合：

A.将浮动图像和参考图像输入到编码器网络中进行编码和特征提取；

B.将步骤A提取到的特征进行融合，并将融合后的特征输入到配准解码器网络，从而得到配准参数；

所述的配准解码器网络，具体包括上采样模块和下采样模块；下采样模块包括第一下采样层、第二下采样层、第三下采样层和第四下采样层；上采样模块包括第一上采样层、第二上采样层、第三上采样层和第四上采样层；下采样模块的输入数据通过第一下采样层进行下采样后缩小1/2，第一下采样层的输出数据输入到第二下采样层，同时第一下采样层的输出数据也和第三上采样层的输出数据进行串接；第二下采样层将接收到的数据进行下采样后缩小1/2，第二下采样层的输出数据输入到第三下采样层，同时第二下采样层的输出数据也和第二上采样层的输出数据进行串接；第三下采样层将接收到的数据进行下采样后缩小1/2，第三下采样层的输出数据输入到第四下采样层，同时第三下采样层的输出数据也和第一上采样层的输出数据进行串接；第四下采样层将接收到的数据进行下采样后缩小1/2，并将数据输出到第一上采样层；第一上采样层将第四下采样层的输出数据进行上采样后放大两倍；第二上采样层将第一上采样层的输出数据和第三下采样的数据进行上采样后放大两倍；第二上采样层将第一上采样层的输出数据和第二下采样层得到的数据进行上采样后放大两倍；第三上采样层将第二上采样层的输出数据和第一下采样层得到的数据进行上采样后放大两倍；第四上采样层将第三上采样层的输出数据进行上采样后放大两倍；最后经过卷积层操作，从而得到最终的配准解码器网络的输出；

C.利用步骤B得到的配准参数，对浮动图像进行变换；

D.将变换后的浮动图像输入到编码器网络进行编码；

E.将步骤D得到的编码后的变换浮动图像与步骤A得到的编码后的参考图像输入到融合层进行融合；

F.将步骤E得到的融合后的数据输入到重构解码器网络中，从而的得到最终的融合后的图像；

所述的重构解码器网络，具体包括第一卷积核、第二卷积核、第三卷积核和第四卷积核；第一卷积核、第二卷积核、第三卷积核和第四卷积核依次串联；第一卷积核的大小为64*64*3*3*3；第二卷积核的大小为64*32*3*3*3；第三卷积核的大小为32*16*3*3*3；第三卷积核的大小为16*1*3*3*3；参数定义为卷积核的输入通道数*输出通道数*长*宽*高；

S3.采用步骤S1获取的训练数据集，对步骤S2构建的基于卷积神经网络的图像融合模型进行训练，从而得到图像融合模型；

S4.将待融合的两张图像输入到步骤S3得到的图像融合模型中，完成图像的融合。

2.根据权利要求1所述的基于卷积神经网络的图像融合方法，其特征在于步骤A所述的编码器网络，具体为采用DenseBlock结构作为编码器网络；DenseBlock结构包括第一卷积核、第二卷积核和第三卷积核；第一卷积核、第二卷积核和第三卷积核依次串接；第一卷积核的大小为16*16*3*3*3；第二卷积核的大小为32*16*3*3*3；第三卷积核的大小为48*16*3*3*3；参数定义为输入通道数*输出通道数*长*宽*高；第一卷积核的输入数据同时输入到第二卷积核的输入端、第三卷积核的输入端和第三卷积核的输出端；第一卷积核的输出数据同时输入到第三卷积核的输入端和第三卷积核的输出端；第二卷积核的输出数据输入到第三卷积核的输出端；第三卷积核的输出数据与第一卷积核的输入数据、第一卷积核的输出数据和第二卷积核的输出数据融合后，作为最终的DenseBlock结构的输出数据。

3.根据权利要求2所述的基于卷积神经网络的图像融合方法，其特征在于步骤B所述的将步骤A提取到的特征进行融合，具体为将步骤A提取到的特征直接进行串接，从而实现特征的融合。

4.根据权利要求3所述的基于卷积神经网络的图像融合方法，其特征在于所述的配准解码器网络，具体为下采样过程中，每个卷积核的大小为3*3*3，每次卷积操作后，均进行池化操作，具体为LeakyRelu；然后在上采样过程中，采用反卷积操作，并且每次反卷积之后，加上LeakyRelu的池化操作。