[发明专利]一种基于StackGAN网络的文本生成图像方法在审

专利信息
申请号: 202010735650.6 申请日: 2020-07-28
公开(公告)号: CN111968193A 公开(公告)日: 2020-11-20
发明(设计)人: 李云红;朱绵云;聂梦轩;穆兴;贾凯莉;姚兰;罗雪敏 申请(专利权)人: 西安工程大学
主分类号: G06T11/00 分类号: G06T11/00;G06T5/50;G06N3/04;G06N3/08;G06T5/00;G06T7/13;G06T7/90
代理公司: 西安弘理专利事务所 61214 代理人: 弓长
地址: 710048 陕*** 国省代码: 陕西;61
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 stackgan 网络 文本 生成 图像 方法
【说明书】:

发明公开了一种基于StackGAN网络的文本生成图像方法,具体为:收集整理文本图像数据集并分成训练集和测试集;构建StackGAN网络文本生成图像模型,分两个阶段进行训练,每个阶段由生成器和判别器构成;将训练集图像对应的文本描述与随机噪声向量输入到模型的第一阶段进行训练,生成64×64的低分辨率图像,再进行预处理;最后,将图像再结合训练集图像文本描述输入到模型的第二阶段,结合图像的类别与重构信息进行训练,最终输出256×256高分辨率图像。采用分段式训练模型,有利于对图像的轮廓信息、图像的类别及特征与像素信息进行定位,保证生成图像的边缘清晰,生成的图像像素更好,细节和纹理更加细腻真实。

技术领域

本发明属于计算机视觉与自然语言处理技术领域,具体涉及一种基于StackGAN网络的文本生成图像方法。

背景技术

随着互联网技术的迅猛发展,数以万计的图像信息丰富了人们的生活。与此同时,人们对图像信息的要求也越来越高,含有特定意义的图像还是不能满足人们的需求,为了让计算机能根据人们的需求自动生成有意义的图像,文本生成图像任务应运而生。

文本生成图像是结合计算机视觉与自然语言处理两个领域的综合性任务,近年来,由于深度学习等技术的迅速发展,在计算机视觉、自然语言处理等方面取得了长足的进步,2014年6月,生成式对抗网络的诞生为文本生成图像任务提供了可能。2016年Reed等人第一次将生成式对抗网络用于文本生成图像,使得文本生成图像任务有了突破性进展,其在游戏动漫设计、刑侦破案、绘图插画、广告设计、数据增强等领域具有广泛的应用前景。

目前,文本生成图像方法基本都是基于对抗网络训练的,传统的文本生成图像网络模型有GAWWN模型、GAN-INT-CLS模型等。现有的比较有影响力的模型有StackGAN模型、StackGAN++模型、AttnGAN模型。传统的GAWWN模型使用关键点和边界来标记对象的位置信息,从而实现了可以在图像的相应位置绘制相应的内容。GAN-INT-CLS模型经在数据集上实验可生成64×64像素的图像。针对传统模型生成图像质量不高的问题,随后提出了StackGAN网络模型,该模型将两个生成对抗网络叠加起来,第一个生成对抗网络生成相对粗糙的64×64的图像,第二个生成对抗网络能够修正之前生成的图像并添加细节,最终生成256×256像素的高分辨率图像。随后,作为对StackGAN网络的改进,在堆栈生成对抗网络的基础上提出了一种树状生成对抗网络结构StackGAN++网络模型,该网络模型是将三个生成对抗网络堆叠起来,三个生成对抗网络分别先后生成64×64、128×128、256×256像素的图像,使生成图像的综合效果得到改善。AttnGAN模型中可以选择单词级别的信息,通过将图像生成分为多个阶段并为每个阶段添加注意力机制,迭代地生成图像的细节。

以上方法虽然都在一定程度上改善了生成图像的质量,但是在生成图像的轮廓,细节纹理等方面还是存在不足,生成的图像存在边缘轮廓模糊,细节纹理不清晰等问题。

发明内容

本发明的目的是提供一种基于StackGAN网络的文本生成图像方法,解决了现有技术中存在的生成的图像边缘轮廓模糊、细节纹理不清晰的问题。

本发明所采用的技术方案是,一种基于StackGAN网络的文本生成图像方法,具体按照以下步骤实施:

步骤1,收集整理文本图像数据集;

步骤2,将收集好的文本图像数据集分成训练集和测试集;

步骤3,构建StackGAN网络文本生成图像模型,该网络模型分为两个阶段进行训练,分别为低分辨率图像生成阶段和高分辨率图像生成阶段;低分辨率图像生成阶段包括一个生成器和一个判别器,高分辨率图像生成阶段包括一个生成器和两个判别器;

步骤4,将训练集图像对应的文本描述与随机噪声向量作为StackGAN网络模型第一阶段即低分辨率图像生成阶段的输入,输出64×64低分辨率图像,然后送入到第一阶段的判别器中进行判别;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西安工程大学,未经西安工程大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010735650.6/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top