[发明专利]明度一致性学习的图像融合方法

摘要

本发明公开了一种明度一致性学习的图像融合方法，该方法采用无监督式的深度学习方法，使用基于生成器‑对抗器网络结构(GAN)的深度学习模型对图像的明度通道进行预测，维持了前景部分的固有语义，同时通过加入背景覆盖层，确保背景外观保持不变，得到了具有真实感与明暗一致性的图像融合结果，并解决了传统图像融合技术中固有语义丢失的问题。

主权项

1.一种明度一致性学习的图像融合方法，其特征在于,该方法输入图像分辨率为Nt×Nt；Nt为224、448或者896,其图像融合包括以下具体步骤：步骤1：构建合成场景数据库DatabaseF及真实样本数据库DatabaseR(a)DatabaseF构建从pngimg.com网站中收集NF张前景图像,3810≤NF≤8000，其收集的前景图像为自然图像并保持类别数种,且必须包含物体；所述前景图像为包含透明度信息的4通道图像，利用第4通道的透明信息，获取前景目标的掩模,利用选出的NF张前景图像构建SF集合：式中是其中的前景图像；从SUN2012数据集筛选N_B张背景图像,2182≤N_B≤5000，构建背景图像集合是其中的背景图像,要求其不包含前景物体，并且要确保选取的背景图像类别要涵盖SUN2012的各个种类；场景合成：(1)在[0,N_B‑1]之间生成随机的背景图像序号R_B，从背景图像集合S_B中按照R_B取出随机的背景图像再在[0,N_F‑1]之间生成1个随机的前景图像序号R_F，从前景图像集合S_F中按照R_F取出随机前景图像(2)叠加图像，对于的裁剪或缩放处理：如果的水平或垂直尺度小于N_t，通过图像缩放功能将图像在该维度分辨率放大到N_t；否则，如果水平或垂直尺度大于N_t，那么在空域范围内，随机裁剪出分辨率为N_t×N_t的背景块，记为产生前景图像缩放因子s∈[0.5,1.0]，将缩放到新的分辨率s*N_t×s*N_t，结果记为再将覆盖到上，两幅图像中心对齐，覆盖合成后得到前景与背景的叠加图像I_S；进一步生成I_S的掩模图像：利用的第4通道信息进行生成，第4通道如果为透明状态时，标记为0，表示背景区域像素；当第4通道为非透明状态时，标记为1，表示前景区域像素，这样就得到前景掩模图像I_M；利用I_S和I_M创建一个4通道的图像作为网络的输入数据；进一步按照上述方法生成NS组数据，构建成DatabaseF，其中4364≤NS≤10000；(b)真实样本DatabaseR构建在SUN2012数据集中现有的16873张自然场景中，除去步骤(a)使用过的背景图像，从剩余的自然场景的图像中取出12000张，作为真实样本DatabaseR的数据；步骤2：构建图像融合神经网络F‑NetF‑Net结构与流程：F‑Net采用生成式对抗网络(GAN)结构，将F‑Net设计为三层架构：明度生成器子网络L‑net、背景覆盖层、通道合并，在F‑Net中采用Lab颜色空间对图像进行融合；F‑Net的设计按照以下流程进行：(1)从DatabaseF中选取图像Iin输入F‑Net，先对Iin转换为Lab颜色空间,然后进行通道分离，获取的ab通道为信息Ia和Ib，同时分离出来的明度通道信息为Lin；(2)将Iin输入到F‑Net，先进入L‑net,明度预测，得到明度图像L；(3)在背景覆盖层中对L的背景区的明度用Lin进行覆盖，其输出新的明度图像L′；(4)在通道合并处理中，L′图像的通道与Ia、Ib图像的通道进行合并，进一步将Lab色彩空间合并结果转换为RGB三通道的彩色图像，作为F‑Net网络的输出；F‑Net设计；输入是图像Iin，其张量形状为Nt×Nt×4，输出是3通道的彩色图像，输出为融合后的结果图像，张量形状为Nt×Nt×3；对于L‑net、背景覆盖层、通道合并三部分结构：(1)L‑net输入是Iin，输出L，张量形状为Nt×Nt×1；(2)背景覆盖层，输入是L及前景目标的掩模，输出是背景更新的张量L′，张量形状为Nt×Nt×1；(3)通道合并，输入L′和Ia、Ib，输出三个通道Lab空间的彩色图像；(a)L‑net结构采用U‑net架构，编码器及解码器均采用Lt层卷积神经网络的架构，如果Nt为224，Lt为5；如果Nt为448，Lt为6；如果Nt为896，Lt为7；(1)编码器共有Lt层子结构，每个子结构为1层卷积：采用4×4的卷积核，卷积步长为2，并在输入图像边界外邻域补零处理，每个卷积层的输出进行批归一化，使用Leaky Relu激活函数；第1层卷积核个数为Tk，当Nt为224，Tk,取64；当Nt为448，Tk,取32；当Nt为896，Tk,取16，依次后面各层卷积核个数增加一倍；(2)解码器设计为Lt层子结构，每层子结构由转置卷积层和连接层组成。转置卷积层的卷积核，设计为4×4，卷积步长为2，每个转置卷积层都进行批归一化，激活函数使用Relu；第1个层卷积的卷积核个数为512，后面各层卷积核个数减半；在Lt层之后使用一个额外的转置卷积层；然后是背景区域覆盖层,最后再生成最终的网络输出，在解码器之后，连接一个Tanh激活层，将网路的输出转换为‑1至1之间的浮点数；(3)编码器与解码器之间进行跨层连接，即每个编码器中的卷积层都与解码器中相同尺寸的转置卷积层进行逐通道连接，并作为下一层转置卷积层的输入：即编码器第1层与解码器第Lt‑1层输入特征图连接，作为解码器第Lt个转置卷积层的输入；同样地，编码器第2层与解码器第Lt‑2层连接，作为解码器第Lt‑1层的输入，按照这样方式，进行跨层连接；(b)背景覆盖层将L‑net输出的明度图像L在背景覆盖层进行以下处理，并输出图像L′：其中表示逐元素的乘法,I_M表示从I_in的第4通道获取的掩模信息；步骤3：神经网络的训练与预测将DatabaseF按照18:1:1的比例划分为训练数据集TrainF、评估数据集EvaluateF与测试数据集TestF；将DatabaseR中数据也按照18:1:1的比例划分为训练数据集TrainR、评估数据集EvaluateR与测试数据集TestR三个部分；将TrainF和TrainR用于网络的训练过程，EvaluateF和EvaluateR用于训练过程中实时评估网络输出性能，TestF和TestR用于对训练完毕的网络进行性能测试；对F‑Net进行100轮次对抗式训练，采用了基于深度学习的无监督学习策略；F‑Net网络的损失函数由梯度损失L_grad与生成器的对抗损失项构成，L_grad在RGB空间进行定义，利用输入图像与网络输出图像之间的梯度差异的L1范数的平方根形式定义：其中f(Iin)是网络生成器产生的RGB图像，Gx(Iin)利用前向差分计算Iin的水平梯度，Gy(Iin)利用前向差分计算Iin的垂直梯度；NI是原合成图像中像素的总个数：Nt×Nt，NR表示融合区域中像素个数，Gx(f(Iin))是图像f(Iin)的水平梯度，Gy(f(Iin))是图像f(Iin)的垂直梯度；对于生成器的对抗损失项，使用NS GAN方法计算抗损失项其中Y表示真实样本数据集，即背景图像数据集，表示生成的融合图像；D函数表示样本来自于真实样本数据集Y的概率,E表示能量损失函数；F‑Net网络的损失函数LG定义为：其中l为梯度损失的权重参数；F‑Net网络的判别器对抗损失项定义为：其中f(X)表示网络输出的融合结果的图像集；x表示单个真实样本，即真实自然场景图像，D(x)函数表示样本x在f(X)中出现的概率；表示生成的融合场景图像，Y表示真实样本数据集，表示在Y中出现的概率；步骤4：图像融合处理利用步骤2构建的神经网络，并利用步骤3训练得到融合网络的参数，对图像进行外观一致性的融合处理：将Iin输入到F‑Net中，得到学习的融合结果图像。