[发明专利]一种基于远程相关注意力生成对抗网络的文本生成图像方法

说明书

本发明公开了一种基于远程相关注意力生成对抗网络的文本生成图像方法，本发明使用远程依赖注意生成的可逆对抗网络(LRDAGAN)。将远程依赖学习纳入了生成过程，更具体地说，将生成器的特征图解析为几个部分，并使用词级特征增强这些部分的语义一致性且进一步改善了以往广泛使用的方法，以便更好地指导图片生成，使得本发明不仅可以生成高质量图像，而且还可以生成更好的语义一致性图像。

技术领域：

本发明涉及文字处理技术领域，尤其涉及一种基于远程相关注意力生成对抗网络的文本生成图像方法。

背景技术：

3、根据文字描述生成一张与其语义对应并符合现实情况的图片涉及多个方面的问题，首先需要根据自然语言处理方面的知识来处理文字描述，接下来在生成对应图片时又需要使用计算机视觉的有关技术。目前现存的技术方法大多都是分为两个部分来实现文字生成图片的效果：

1.文字编码，文字编码部分分别利用两个神经网络来处理文字与图片，通过网络不断学习将其映射至同一个向量空间。比如在AttnGAN网络中，使用了一个图片处理中常用的CNN卷积神经网络网络获取图片特征，一个自然语言处理中常用的LSTM长短记忆网络来处理文字信息，接着通过优化指定的损失函数来提高两者之间的相似度，使得文字所表达的语义能与生成的图片的信息更加统一。

2.生成图片，通过步骤一将文字信息进行编码后，用向量的模式表示文字信息，作为GAN对抗生成网络的输入，网络的输出为对应的图片。经过不断的迭代训练，不断优化网络参数，最终得到一个根据输入的语义信息生成对应图片的图片生成模型。

虽然训练的模型可以生成文字对应的图片，但想的文本到图像算法通常需要同时满足三个关键要求(真实性，多样性和语义一致性)。在许多图像生成工作中已经讨论了如何前两个要求。但是，第三个要求更具挑战性，因为它要求模型具有从文字特征到视觉实体的跨模态翻译能力。AttnGAN可以生成字面上可理解的图像。它通过注意重要单词来合成图像的细粒度细节，然后通过多层卷积网络对细节进行细化和扩展。尽管，AttnGAN中堆叠卷积层会产生较大的接收范围，并将文本修饰的细节扩展到较大的区域，但是很难有效地在图像中建立长期依赖关系。这种远距离的关系在视觉上至关重要。因为人可以在潜意识中识别许多事物，例如物体是否对称。

具体的，文本到图像生成(基于给定的描述性句子生成图像)是一项艰巨的任务。它不仅需要视觉质量，还需要生成图像的语义一致性。先前的作品显示了在生成高质量和语义一致性图像方面的显着进步，这归因于基于注意力的Generative AdversarialNetworks。但是，他们使用的关注层主要集中在完善像素级特征上，而忽略了特征图中远程依赖的强大作用。

总的来说，现有的文本生成图像方法都存在一定程度的局限性，难以推广运用。

名词解释：

Fca向量：通过条件增强方法后生成的向量。

NULL：空值。

LRDAttn：远程相关注意力生成对抗网络。

DAMSM：深层注意多模态相似模型(deep attentional multimodal similaritymodel)。

生成对抗网络(英语：Generative Adversarial Network，简称GAN)：是非监督式学习的一种方法，通过让两个神经网络相互博弈的方式进行学习。该方法于2014年提出。生成对抗网络由一个生成网络与一个判别网络组成。生成网络从潜在空间(latent space)中随机取样作为输入，其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数，最终目的是使判别网络无法判断生成网络的输出结果是否真实。

发明内容：