[发明专利]明度一致性学习的图像融合方法

说明书

本发明公开了一种明度一致性学习的图像融合方法，该方法采用无监督式的深度学习方法，使用基于生成器‑对抗器网络结构(GAN)的深度学习模型对图像的明度通道进行预测，维持了前景部分的固有语义，同时通过加入背景覆盖层，确保背景外观保持不变，得到了具有真实感与明暗一致性的图像融合结果，并解决了传统图像融合技术中固有语义丢失的问题。

技术领域

本发明涉及图像合成技术领域，尤其是一种明度一致性学习的图像融合方法，使用基于生成器-对抗器网络结构(GAN)的深度学习模型对图像的明度通道进行预测，保证了融合区域的明暗一致性,获得具有真实感与明暗一致性的融合效果。

背景技术

图像融合问题是将前景图像与背景图像进行融合，目前，图像融合问题的关键技术中，主要的难点是在维持前景目标的固有特征的前提下，使融合后的图像具有光照、纹理等方面的一致性。现有的图像融合技术可分为基于梯度场的图像融合方法和基于多分辨率的图像融合方法等。

基于梯度场的图像融合方法的主要思想是：在前景图像与背景图像的梯度场中对图像融合问题进行求解，该方法将前景图像的梯度场作为融合区域的引导场，目的是保持原图像的梯度场，从而维持前景图像的原始梯度特征。随着技术的发展，人们通过将融合区域与背景图像在边界处的颜色一致作为限制条件，保证了融合区域边界处的平滑性，并将问题转化为对泊松方程的求解。该方法虽然能够实现无缝的图像融合效果，但当边界处的颜色变化较大时，会产生渗色问题。随着图像融合技术的发展，在泊松融合方法基础上，出现了GrabCut分割方法，在给定的区域边界与前景目标的边界之间求解最优的融合边界，从而改善了图像融合的效果。目前，泊松融合方法存在的问题是，仅保留了前景图像的梯度场，即相对变化特征，而忽视了前景图像的色调、明暗等其他原始特征。这导致在前景与背景图像颜色差别较大时，融合后的前景图像的色调与原始图像会有较大的差别，破坏了前景图像的部分语义信息。

基于多分辨率的图像融合方法利用图像在不同尺度下的信息,将图像表示为多分辨率金字塔的形式，在金字塔各层上进行前景与背景的融合，并结合各层的融合信息得到最终的融合结果。基于多分辨率的图像融合方法，较好地保证了原图像与目标图像在纹理和对比度等外观特征上的一致性。同时，在各层处理时可以采用一系列优化方法，避免融合图像出现明显的合成痕迹。基于多分辨率的图像融合方法在不同尺度下对图像进行融合，能够获得具有纹理与对比度一致性的融合结果，但在复杂的自然图像中，其不能取得较满意的结果。基于现有的融合技术研究中存在的问题，亟待一种外观一致性的融合方法，以满足实际应用的需要。

发明内容

本发明的目的是针对现有技术的不足,并针对图像融合现有技术中存在的实际问题，提出一种有效的明度一致性深度学习策略，可以实现外观一致性图像融合,设计了基于Lab颜色空间的图像融合策略，实现前景色调的保留，并使用基于生成器-对抗器网络结构(GAN)的深度学习模型对图像的明度通道进行预测，保证了融合区域的明暗一致性,获得了具有真实感与明暗一致性的融合效果。

实现本发明目的的具体技术方案是：

一种明度一致性学习的图像融合方法，特点是：该方法输入图像分辨率为N_t×N_t；N_t为224、448或者896,其图像融合包括以下具体步骤：

步骤1：构建合成场景数据库DatabaseF及真实样本数据库DatabaseR

图像融合问题采用GAN模型的网络结构对融合区域明度的学习和预测，需要建立DatabaseF及DatabaseR.具体地利用前景目标与背景图像合成策略构建DatabaseF,进一步在GAN生成模型中，利用DatabaseF的数据，对空洞区域明度的规律进行学习，同时，在GAN判别模型中，利用DatabaseR中真实样本作指导，以确保明度规律的预测能够符合真实场景的光照规律；

(a)DatabaseF构建