[发明专利]一种基于混和网络模型的文本到图像的生成方法

摘要

本发明公开了一种基于混和网络模型的文本到图像的生成方法，通过对文本到图像的映射进行前向训练、对文本到图像生成模型中对生成器和判别器进行前向训练、对判别器输入三种类型的输入对判别器进行训练、对文本到图像的生成对抗模型进行前向测试训练、对该模型进行训练得到模型函数损失信息、使用图像评估模块对图像的质量进行评价；本发明的生成图像质量明显高于传统的GAN的文本生成的图像，从而使得应用价值更高。本发明克服了现有的基于生成对抗网络的文本到图像的模型研究的不足之处，能更好的适用于文本到图像的生成。通过本发明，能够实现高质量清晰图像的输出，并通过少量的训练数据就能得到泛化的效果。

主权项

1.一种基于混和网络模型的文本到图像的生成方法，包括步骤：/n步骤S1：对基于生成对抗网络的文本-图像对抗模型的相关数据进行加载；/n步骤S2：实现文本-图像对抗模型的定义，包括真实图像的定义、错误图像的定义、真实标题的定义、错误标题的定义以及噪声变量的定义；/n步骤S3：在文本-图像对抗模型模型中，对文本-图像的映射进行前向训练；/n步骤S4：对文本-图像对抗模型中的生成器进行前向训练，使用递归神经网络对正确标题进行编码，在编码后的向量中加入噪声来对生成器进行训练，得到训练后的生成器和伪造图像；/n步骤S5：对文本-图像对抗模型的判别器输入三种类型的输入(这里使用的是具有配对意识的判别器，它是对标准的文本条件式DCGAN框架中的判别器进行了改进，判别器除了判别输出图像的真假外，还需要分辨出失败的生成内容是属于生成图像不真实还是生成图像不匹配)：伪造图像向量和真实标题向量、真实图像向量和伪造标题向量以及真实图像向量和真实标题向量，来对判别器进行训练来得到训练后的判别器；/n步骤S6：对文本-图像的对抗模型进行前向测试训练，用递归神经网络对真实标题进行编码，在编码向量中加入随机噪声来对生成器进行测试，以了解生成器是否能如期望的那样输出理想的结果；/n步骤S7：参数定义，具体包括学习率、学习衰减率以及生成器和判别器的优化器的定义；/n步骤S8：开始对文本-图像的对抗模型进行训练，下载最近检查点，获取生成种子、噪声和句子的下标，获取匹配的文本、获取真实的图像、获取错误的标题、获取错误的图像和获取噪声后对文本-图像的映射进行更新，并更新判别器和生成器，最后得出轮数和损失函数信息；/n步骤S9:保存训练好的文本-图像的对抗模型，对训练好的文本-图像的对抗模型生成的图像的图像质量进行评估。/n