[发明专利]文本图像合成模型的训练、合成方法、装置、设备及介质

说明书

本申请实施例提供了一种文本图像合成模型的训练、合成方法、装置、设备及介质，属于图像处理技术领域。该训练方法包括：获取训练图像文本和训练目标图像；将训练图像文本输入生成器进行图像合成，得到训练合成图像；将训练合成图像和训练目标图像输入判别器进行图像判别，得到图像判别结果；根据图像判别结果确定图像判别损失；根据训练图像文本和训练合成图像，确定图像合成损失；根据图像判别损失和图像合成损失，对生成器的参数和判别器的参数进行更新，得到文本图像合成模型；本申请实施例能够降低文本图像合成模型的复杂度，可广泛应用于图像处理技术领域。

技术领域

本申请涉及图像处理技术领域，尤其涉及文本图像合成模型的训练、合成方法、装置、设备及介质。

背景技术

随着元宇宙、虚拟现实等技术的发展，文本驱动图像合成任务得到了很大的发展，它可以应用于增强现实，虚拟现实，图像增强等应用场景。文本驱动图像合成任务是指从一句描述性文本生成与之对应的图片，而合成连贯、清晰、逼真的图像是文本驱动合成图像系统的目标，尤其是在对条件文本描述具有高语义保真度的逼真场景。

但是，当前文本驱动图像合成方法的训练过程比较费时，且模型相对比较复杂，因此，如何降低文本图像合成模型的复杂度，成为了亟待解决的技术问题。

发明内容

本申请实施例的主要目的在于提出一种文本图像合成模型的训练、合成方法、装置、设备及介质，旨在降低模型的复杂度。

为实现上述目的，本申请实施例的第一方面提出了一种文本图像合成模型的训练方法，所述训练方法包括：

获取训练图像文本和训练目标图像；

将所述训练图像文本输入生成器进行图像合成处理，得到训练合成图像；

将所述训练合成图像和所述训练目标图像输入判别器进行图像判别处理，得到图像判别结果；

根据所述图像判别结果确定图像判别损失；

根据所述训练图像文本和所述训练合成图像，确定图像合成损失；

根据所述图像判别损失和所述图像合成损失，对所述生成器的参数和所述判别器的参数进行更新处理，得到文本图像合成模型，其中，所述文本图像合成模型包括所述生成器和所述判别器。

在一些实施例，所述将所述训练图像文本输入生成器进行图像合成处理，得到训练合成图像，包括：

通过预训练的语言表征模型对所述训练图像文本进行特征提取处理，得到文本特征；

对所述文本特征进行加噪处理，得到文本加噪特征；

对所述文本加噪特征进行编码处理，得到隐编码；

对所述隐编码进行门控卷积处理，得到门控卷积编码；

对所述门控卷积编码进行解码处理，得到训练合成图像。

在一些实施例，所述将所述训练合成图像和所述训练目标图像输入判别器进行图像判别处理，得到图像判别结果，包括：

提取所述训练图像文本的句子特征；

将所述训练合成图像和训练目标图像，以及句子特征输入判别器进行图像判别处理，得到图像判别结果。

在一些实施例，所述根据所述图像判别结果确定图像判别损失，其中，所述图像判别损失包括生成器损失和判别器损失，包括：

根据所述图像判别结果对所述生成器进行损失计算处理，得到生成器损失；

根据所述图像判别结果对所述判别器进行损失计算处理，得到判别器损失。