[发明专利]基于显著性场景图分析的文本合成图像方法及系统

说明书

本发明提供了一种基于显著性场景图分析的文本合成图像方法及系统。该方法包括：根据依赖关系解析将文本描述构建成依赖树，进行树转换以得到语义图，构建一个基于规则的场景图解析器，该解析器从依赖项语法表示映射到场景图；利用背景检索模块对场景图进行检索，得到与给定场景图最相关的候选分割图；通过背景融合模块对候选分割图进行编码得到背景特征；将前景对象和背景特征表示都输入到生成对抗网络中，得到文本合成图像模型，使用模型以测试文本描述为输入，生成具有前景和背景视觉上一致的高分辨率图像。本发明将基于显著性的场景图引入到图像合成中，通过探索跨模态文本语义空间配置，有效的提高了图像合成的准确率。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于显著性场景图分析的文本合成图像方法及系统。

背景技术

从文本描述生成图像一直是计算机视觉中的活跃研究主题。由于其在许多应用中的巨大潜力和挑战性，文本描述生成图像代已成为自然语言处理和计算机视觉社区的活跃研究领域，其应用非常广泛，包括照片编辑和计算机辅助设计。通过允许用户用自然语言描述视觉概念，它为调节图像生成提供了自然而灵活的交互。伴随着生成对抗网络的兴起，图像合成技术展现出卓越的结果。基于生成对抗网络的框架，可以通过生成高分辨率图像或增强文本信息来进一步提高生成图像质量。

目前，复杂图像的生成仍然面临挑战。例如，要从文本描述“人们骑着大象走过河”生成图像，就需要对各种视觉概念做出多种推理，例如对象类别(人和大象)，对象的空间配置(骑行)，场景背景(通过河等)，这比生成单个大型对象要复杂得多。由于从普通图像中学习直接的文本到像素映射的复杂性，现有的方法仍无法成功生成用于此类复杂文本描述的合理图像。因此，开发一种有效地从文本描述直接生成复杂图像的方法是一个亟待解决的问题。

发明内容

本发明的实施例提供了一种基于显著性场景图分析的文本合成图像方法及系统，以实现有效地从文本描述直接生成复杂图像。

为了实现上述目的，本发明采取了如下技术方案。

根据本发明的一个方面，提供了一种基于显著性场景图分析的文本合成图像方法，包括：

步骤1：从现有数据集中提取出文本描述，根据依赖关系解析基于文本描述构建对象数据集、属性数据集和关系数据集；

步骤2：提取对象数据集中的所有对象、属性数据集中的所有属性和关系数据集中的所有关系，将得到的对象、属性和关系解析为依赖树，再对依赖树进行树转换得到语义图；

步骤3：根据所述语义图构建基于规则的场景图解析器，通过场景图解析器将所述依赖树中的依赖项语法映射为场景图，从所述场景图获得前景对象；

步骤4：利用背景检索模块对所述场景图进行检索，根据布局相似性分数从候选语义分割图数据库中选择一组与场景图最相关的候选分割图；

步骤4：通过背景融合模块对所述候选分割图进行编码，产生最佳匹配的背景特征；

步骤5：将前景对象和背景特征表示输入到生成对抗网络中，利用对抗损失函数和感知损失函数训练生成对抗网络的权重，得到训练好的生成对抗网络；

步骤6：将训练好的生成对抗网络作为文本合成图像模型，将待转换的文本描述输入到训练好的文本合成图像模型中，文本合成图像模型输出所述待转换的文本描述对应的图像。

优选地，所述的提取对象数据集中的所有对象、属性数据集中的所有属性和关系数据集中的所有关系，将得到的对象、属性和关系解析为依赖树，再对依赖树进行树转换得到语义图，包括：