[发明专利]一种基于生成语义分割图的文本改写图片方法

说明书

本发明提供一种基于生成语义分割图的文本改写图片方法，该方法通过文字描述去修改图片中人物的衣服。不同于以往直接生成修改图片的方法，该方法首先通过双向的LSTM对文本进行编码来获取文本的语义特征，接着通过一个现有的语义分割模型获取原图片的语义分割图，然后将该语义分割图和文本编码进行拼接放入resnet网络中去学习文本编码和原语义分割图的联合表示，从而生成出修改图片的语义分割图，最后再将该生成的语义分割图和原文本编码再次拼接放入另外一个resnet网络中去学习文本编码和生成的语义分割图之间的关系表示生成出最终修改完成的图片。

技术领域

本发明涉及计算机应用技术、图像处理领域，更具体地，涉及一种基于生成语义分割图的文本改写图片方法。

背景技术

近年来，互联网技术越来越成熟，人们已经习惯在网上购买自己想要的商品，其中衣服就是人们购买最多的一类商品。足不出户就可以买到自己心仪的衣服，这给大家的生活带来了巨大的便利。但是不能亲自试穿却成了一个很大的问题，因此如果能够用一段描述衣服样子的文本去自动修改一张人物图片的衣服，使得生成的图片的衣服刚好符合文本的描述并且该衣服贴合于原图片的人物就显得十分重要而且有意义。文本改写图片任务就这样孕育而生，即给定一张人物图片以及一段文本描述，生成一张新的图片使得该图片的人物依旧与输入图片保持一致并且该人物所穿的衣服与文本描述的内容保持一致。

文本改写图片任务其实就是一个有条件的图片生成任务，通过文本这个强条件去控制图片的生成。目前，图片生成任务使用频繁的网络就是生成对抗网络。该网络设计生成器和判别器(均为神经网络)，生成器的目的是生成的图片要让判别器无法判别其是真是假，判别器的目的是要区分图片的真假，通过生成器和判别器的对抗学习使得两者越来越强，最终生成器生成的图片能够达到以假乱真的效果。然而，直接用该网络来做有条件的图片生成任务往往效果不是很好，注意到该任务的目标是修改图片的衣服，但是生成的图片和输入图片的人物却保持不变。因此，如果能够利用语义分割图来做图片的生成效果会更加好。语义分割图是指在像素级别对每一个像素点进行分类，分类的目标是指该像素点属于哪一类(衣服，裤子，脸，头等等)，由于直接从原始图片得到目标图片所需要学习的难度十分地大，但是如果可以根据原始图片的语义分割图通过加入文本的语义信息生成出目标图片的语义分割图，然后再根据目标图片的语义分割图和文本的语义信息生成出目标图片这样一种方式，就可以降低学习的难度。而不管是生成目标图片的语义分割图或者是生成目标图片，使用的方法都是基于生成对抗网络的思想。并且为了降低网络学习的难度，将该任务分成两个阶段：第一阶段输入为文本和原始图片的语义分割图，输出为符合文本描述的语义分割图，第二阶段的输入为第一阶段生成的语义分割图以及文本，输出为符合文本描述的图片。

发明内容

本发明提供一种基于生成语义分割图的文本改写图片方法，该方法可降低模型网络的学习难度。

为了达到上述技术效果，本发明的技术方案如下：

一种基于生成语义分割图的文本改写图片方法，包括以下步骤：

S1：建立生成输入图片的语义分割图模型G，语义分割图的特征抽取器T以及生成文本语义信息的双向编码器LSTM网络；

S2：构建resnet1网络，将S1中生成的语义分割特征和文本语义特征输入该网络中通过GAN训练方法生成修改图片的语义分割图P；

S3：构建resnet2网络，将S2中生成的语义分割图P和S1中生成的文本语义特征输入该网络中通过GAN训练方法生成修改图片。

进一步地，所述步骤S1的具体过程是：

S11：预定义20个标签，包括头发，脸部，上衣，其目标就是对输入图片的每个像素点进行分类，若输入图片用矩阵表示为[height,width,channel]，则输出图片表示为[height,width]；