[发明专利]一种文本编辑图像方法、存储介质、电子设备及系统

说明书

本发明公开了一种文本编辑图像方法、存储介质、电子设备及系统，其方法包括以下步骤：S1、将原始图像和原始图像的第一文本描述信息送入通道注意力模块进行关联，然后送入生成器，生成与文本相关的第一图像，将所述第一图像和第一文本描述信息送入鉴别器进行鉴别；S2、将所述第一图像和原始图像的第二文本描述信息送入通道注意力模块进行关联，然后送入生成器，生成与文本相关的第二图像，将所述第二图像和第二文本描述信息送入鉴别器进行鉴别；S3、利用步骤S1和S2得到的鉴别信息构建循环一致性损失函数，并经过多次迭代对生成器进行训练，得到优化后的生成器。本发明的文本编辑图像方法生成的图像更准确、更自然、更多样。

技术领域

本发明涉及图像编辑技术领域，特别涉及一种文本编辑图像方法、存储介质、电子设备及系统。

背景技术

近年来，基于自然语言的图像编辑问题获得了广泛研究。由于不仅涉及图像本身的目标识别问题，还涉及到自然语言处理问题，当前主要相关方法可以总结为以下三种：

语义图生成方法：此方法首先识别出文本中包含的目标信息和空间位置信息，然后根据文本信息生成语义布局图，再通过语义布局图生成图像。有的方法是只输入一个长句子，句子包含多个类别和类别直接的关系，通过生成一次语义图来生成图像内容。有的方法是多次输入短句子，每次再上一次生成的语义图结果上再进行修改和添加。

特征空间匹配法：此方法会把句子和文本信息进行提前的预训练处理，通过将图像和构造好的句子信息都投射到高纬度的特征空间，寻找与图像信息最匹配的文本内容。有的方法构建了多个kernel，通过ranking的方式对各个数据空间的数据进行比较，以寻找文本和图像之间的关系。有的方法通过在图像上添加空间注意力机制，通过这种特征空间映射来更好的结合文本信息内容。

细粒度生成方法：此方法通过CNN(卷积神经网络)提取图像的特征，利用RNN提取词级别的文本信息，然后把图像特征和文本特征利用注意力机制进行融合，通过多个残差块进行信息的融合，最后生成图像信息。有的方法把利用循环LSTM网络提取细粒度的文本信息，从而更好的控制图像中的细节内容。

传统方法虽然在一定程度上可以解决文本编辑图像问题，却仍然有一定缺陷，如下：

语义图生成方法：这种利用文本生成语义图再生成图像的算法，在一定程度上可以构建出符合文本描述的图像信息。但是在实际应用中，当生成的语义图有偏差时，会直接导致生成错误的图像内容，并且所能应用的场景相对有限。

特征空间匹配法：这种特征空间匹配法，需要大量文本信息和图像信息来支持，并且由于句子包含复杂的信息，与图像之间的关系较难建立。

细粒度生成方法：此方法相较于前两种方法能够更加准确的提取文本的信息。现有的细粒度生成方法虽然把单词提取出来，但是通过归一化的方法融合过于粗糙，容易丢失图像的空间信息，从而导致文本编辑后的图像细节丢失，背景区域变化等结果。

近年来，生成对抗网络(GAN，Generative Adversarial Networks)受到了学术界与工业界的极大重视，成为近两年来最热门的研究领域之一。与传统的机器学习方法不同，GAN最大的特点在于引入了对抗机制，能用于真实数据分布的建模和生成。当前，生成对抗网络模型吸引了大量的研究学者，在诸多方面得到了进一步扩展。可以看出，与传统的机器学习方法不同，GAN最大的特点在于能够用于真实数据分布的建模和生成。纵观现有的生成对抗网络方法，其大多是针对单一数据域。因此，GAN有望解决文本编辑图像所造成的细节丢失，背景区域变化等问题。

发明内容

本发明要解决的问题在于提供一种适用性强、准确度高的文本编辑图像方法。

为了解决上述问题，本发明提供了一种文本编辑图像方法，其包括以下步骤：