[发明专利]一种基于单对图像训练的条件生成对抗网络模型的方法

说明书

本发明公开了一种基于单对图像训练的条件生成对抗网络模型，包括以下步骤：基于条件生成对抗网络模型架构构建图像翻译模型；选取一张训练图像，并对所述图像进行语义标注获得语义标注图；使用选取的训练图像和标注的语义图，训练图像翻译模型，得到一个基于单对图像训练的条件生成对抗网络模型。首先，本发明在训练图像翻译模型时，仅需要一对训练数据，解决了传统图像翻译模型对大数据的依赖问题，更加适用于实际应用场景，方便用户根据实际需求训练自己的个性化生成模型。其次，通过使用数据增强机制，使得训练好的模型具有更强的鲁棒性；此外，本发明的模型使用混合训练机制，有效解决了多尺度模型中的误差累积问题，提高了生成图像的质量。

技术领域

本发明涉及深度学习图像处理技术领域，特别是涉及一种基于单对图像训练的条件生成对抗网络模型的方法。

背景技术

生成式对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型，该模型包含两个模块：生成器模型和判别器模型。生成器和判别器互相博弈学习，生成器学习如何生成和训练样本相同的结果，判别器学习如何判别生成器生成的样本和训练样本。原始GAN理论中，并不要求生成模型和判别模型都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实用中一般均使用深度神经网络作为生成模型和判别模型。此外，原始的GAN是完全无监督的生成方法，输出结果依赖于输入生成器中的随机噪声。条件生成对抗网络在随机噪声的基础中引入条件变量，指导生成结果。这个条件可以是任意内容，例如一张图片的类别信息，某个对象的属性信息等。

生成对抗网络技术近年来飞速发展，使用生成对抗网络能够得到越来越逼真的图像，在人脸生成、字体生成等领域都有重要的应用。

其中，采用生成对抗网络基于语义标注图作为条件生成真实感图像的技术使用户可以通过寥寥几笔草图就能得到完整丰富的图像。该技术在设计领域有着广泛应用，例如，帮助设计师进行设计探索，基于草图快速预览创意想法。然而，一个强大的生成对抗网络需要使用海量数据进行训练，否则生成对抗网络可能无法良好地拟合训练数据的分布，从而无法生成高质量的输出。然而，构造一个大规模的、具有精细语义标注的数据集不仅费时费力，还难以保证数据集的质量和精度。

公开号为CN 112102303 A的发明公开了一种基于单图像生成对抗网络的语义图像类比方法，其通过编码器、生成器、辅助分类器及鉴别器构成的网络模型实现，能够在给定任意图像和其语义分割图的情况下训练出专属于给定图像的生成模型，该模型能够根据期望语义布局的不同对源图像进行重新组合，生成符合目标语义布局的图像，达到语义图像类比的效果。

公开号为CN 110009028 A的发明公开了供一种显微图像数据增强方法及装置，能够自动标注图像。所述方法包括：生成真实显微图像的虚拟图像；通过风格迁移方法将真实显微图像的风格迁移至所述虚拟图像；根据虚拟图像的计算模拟特性，从虚拟图像的各语义区域中获得对应语义标注，将具有真实显微图像风格的虚拟图像和对应的语义标注结合形成有标注的图像数据，以训练图像分析模型。

发明内容

本发明的目的在于提出了一种基于单对图像训练的条件生成对抗网络模型，可以解决传统图像生成模型对大数据集的依赖问题。

一种基于单对图像训练的条件生成对抗网络模型的方法，包括以下步骤：

(1)基于条件生成对抗网络架构构建图像翻译模型；

(2)选取一张图像作为训练图像，并对所述图像进行语义标注获得语义标注图，得到一对“训练图像-语义标注图”；

(3)使用步骤(2)中获得的一对“训练图像-语义标注图”，训练步骤(1)构建的图像翻译模型，得到一个基于单对图像训练的条件生成对抗网络模型。

在本文中，生成对抗网络的条件为语义标注图，其控制生成图像的语义内容和布局。