[发明专利]一种自适应属性和实例掩码嵌入图的文本到图像生成方法

说明书

本发明提供一种自适应属性和实例掩码嵌入图的文本到图像生成方法，包括根据输入的文本使用边框回归网络来获得64×64、128×128及256×256语义布局；根据64×64语义布局、句嵌入向量和随机噪声，在低分辨率生成器中生成粗粒度的图像潜在特征及低分辨率64×64图像；根据128×128语义布局，在第一高分辨率生成器中形成像素级特征向量；根据128×128语义布局、粗粒度的图像潜在特征及像素级特征向量，在第一高分辨率生成器中生成第一细粒度的图像潜在特征及高分辨率128×128图像；根据256×256语义布局、第一细粒度的图像潜在特征及像素级特征向量，在第二高分辨率生成器中生成高分辨率的256×256图像。实施本发明，让图像不仅分辨率高、满足实例形状约束，而且属性特征与描述一致。

技术领域

本发明涉及计算机视觉图像生成技术领域，尤其涉及一种自适应属性和实例掩码嵌入图的文本到图像生成方法。

背景技术

近年来，深度学习在文本-图像生成领域已取得较好的成果。生成对抗网络(GAN)作为最常用的生成模型，联合学习生成器和判别器；其中，生成器主要用于学习像素分布并生成逼真的图像，而判别器需鉴别生成图像的真假，两者不断对抗更新以达到最终的纳什平衡。

生成对抗网络有多种输入类型，如随机噪声、语义分割图、素描图、图像对、场景图、文本等；其中，文本是最简单且最易操作的输入形式，越来越多的研究人员也趋向于文本-图像生成，但当文本描述中存在复杂多样的对象和场景时，由于缺乏语义布局作为中间表示，导致生成图像的质量会急剧下降。

现有的文本-图像生成技术使用多级生成策略，对初步生成的低分辨率图像逐步优化来合成高分辨率图像。此外，边框回归网络可根据输入的嵌入向量预测目标的位置和大小，已被用于Fast R-CNN中的目标检测，定位的目标可用四元组(x,y,w,h)表示其坐标和宽高。

但是，现有的文本-图像生成方法的输入大多是句向量，缺乏词级别的细粒度信息，合成的图像缺少实例级别的纹理特征。此外，在图像生成过程中，生成器容易忽略不同实例之间的空间交互关系，缺乏实例形状掩码约束，合成的图像出现了实例形状不合理，像素重叠和遮挡等问题；同时，句子级别的判别器只能提供粗粒度的训练反馈信息，难以判别词级的实例视觉属性，导致生成模型倾向于合成对象的“平均”模式，而非最相关的属性特征，无法合成真实而准确的高分辨率图像。

因此，亟需一种新的文本-图像生成方法，能克服整个句子的复杂性和歧义性，使生成器能学习到实例的细粒度特征以及判别器能提供准确的属性反馈信息，让生成的图像不仅分辨率高、满足实例形状约束，而且属性特征与描述一致。

发明内容

本发明实施例所要解决的技术问题在于，提供一种自适应属性和实例掩码嵌入图的文本到图像生成方法，能克服整个句子的复杂性和歧义性，使生成器能学习到实例的细粒度特征以及判别器能提供准确的属性反馈信息，让生成的图像不仅分辨率高、满足实例形状约束，而且属性特征与描述一致。

为了解决上述技术问题，本发明实施例提供了一种自适应属性和实例掩码嵌入图的文本到图像生成方法，所述方法包括以下步骤：

根据输入的文本，使用预设的编码器-解码器结构的边框回归网络来获得所述文本中每个单词对应的实例边界框的位置和标签信息，并整合所有实例生成的边界框的位置和标签信息，得到64×64、128×128及256×256语义布局；

根据64×64语义布局、句嵌入向量和随机噪声，在低分辨率生成器中获得粗粒度的图像潜在特征以及根据所述粗粒度的图像潜在特征对应生成的低分辨率的64×64图像；