[发明专利]一种自监督学习的多模态图像融合方法及其应用

权利要求书

1.一种自监督学习的多模态图像融合方法，其特征在于，包括如下步骤：

步骤一、获取大型自然图像数据集并进行预处理，得到随机低分辨图像集合：

步骤1.1、从大型自然图像数据集获取原始训练图像集合，并将每张原始训练图像转换到灰度空间后，再将得到的每张灰度训练图像裁剪到固定尺寸，从而得到裁剪后的灰度图像集合，其中一张裁剪后的灰度图像记为I；

步骤1.2、为每张裁剪后的灰度图像设置一个随机概率，若随机概率小于阈值p，则将相应裁剪后的灰度图像转换成低分辨图像，否则，不转换，从而得到随机低分辨图像集合，其中，裁剪后的灰度图像I对应的一张随机低分辨率图像记为I'；

步骤二、构建超分辨网络，包括一个编码器和一个解码器；并将随机低分辨图像I'输入到超分辨网络中进行自监督训练，得到优化后的编码器和优化后的解码器：

步骤2.1、构建编码器，依次包括一个输入映射层、K个编码阶段、一个瓶颈层：

步骤2.1.1、构建输入映射层，依次包括一个卷积层和一个LeakyReLU激活函数；并将随机低分辨图像I'输入所述输入映射层中进行处理后，得到输入映射层输出的特征图；

步骤2.1.2、构建K个编码阶段，并对所述输入映射层输出的特征图进行处理，从而由第K个编码阶段输出编码特征Feat_K；

步骤2.1.3、构建由N_K+1个LeWin Transformer模块构成的瓶颈层，并将所述编码特征Feat_K输入到瓶颈层中，得到瓶颈层输出的编码特征Feat_K+1；

步骤2.2、构建解码器，依次包括K个解码阶段和一个输出映射层，并对编码特征进行处理，得到超分辨图像Ĩ；

步骤2.3、构建损失函数：

以裁剪后的灰度图像I作为参考超分辨图像，按式(1)构建与所述超分辨图像之间的损失函数Loss：

                   (1)

式(1)中，是一个扰动常数；

步骤2.4、将低分辩图像集合按B个图像为一批循环输入到所述超分辨网络中，并采用AdamW优化器对损失函数Loss进行最小化求解，以优化超分辨网络中的所有参数，并得到优化后的编码器和优化后的解码器；

步骤三、构建融合模型，包括：优化后的编码器、融合模块、优化后的解码器，并将待融合的多个模态图像经过色彩空间转换后输入到融合模型中再进行色彩空间转换，得到最终融合图像：

步骤3.1、将待融合的S个模态图像进行色彩空间转换，得到亮度通道下的S个模态图像{I₁,…,I_s,…,I_S}，其中，I_s表示亮度通道下的第s个模态图像，s∈{1,2,…,S}；

步骤3.2、将所述第s个模态图像I_s输入到所述优化后的编码器中，得到所述优化后的编码器的第k个编码阶段输出的第s个模态图像I_s的特征图F_k,s，从而得到所述优化后的编码器的第k个编码阶段输出的S个模态图像{I₁,…,I_s,…,I_S}的特征图集合{F_k,1,…, F_k,s,…,F_k,S}；

步骤3.3、构建融合模块，并对所述特征图集合{F_k,1,…, F_k,s,…, F_k,S}进行融合，得到所述S个模态图像{I₁,…,I_s,…,I_S}在所述第k个编码阶段的融合特征图F_k：

步骤3.4、将K个编码阶段的融合特征图集合{F₁,…,F_k,…,F_K}输入到优化后的解码器，得到初步融合图像；

步骤3.5、若待融合的S个模态图像是灰度图像，则初步融合图像即是最终融合图像；若待融合的S个模态图像是RGB色彩空间，则按以下过程处理：

首先将待融合的S个模态图像分别转换到YCbCr空间，得到S个模态图像在Cb通道上的图像集合和Cr通道上的图像集合；将所述Cb通道上的图像集合和所述Cr通道上的图像集合分别进行加权融合，得到融合后的Cb通道图像和融合后的Cr通道图像；将所述融合后的Cb通道图像、所述融合后的Cr通道图像与初步融合图像在通道维度上进行拼接并转换到RGB色彩空间，从而得到最终融合图像。