[发明专利]基于显著性场景图分析的文本合成图像方法及系统

权利要求书

1.一种基于显著性场景图分析的文本合成图像方法，其特征在于，包括：

步骤1：从现有数据集中提取出文本描述，根据依赖关系解析基于文本描述构建对象数据集、属性数据集和关系数据集；

步骤2：提取对象数据集中的所有对象、属性数据集中的所有属性和关系数据集中的所有关系，将得到的对象、属性和关系解析为依赖树，再对依赖树进行树转换得到语义图；

步骤3：根据所述语义图构建基于规则的场景图解析器，通过场景图解析器将所述依赖树中的依赖项语法映射为场景图，从所述场景图获得前景对象；

步骤4：利用背景检索模块对所述场景图进行检索，根据布局相似性分数从候选语义分割图数据库中选择一组与场景图最相关的候选分割图；

步骤4：通过背景融合模块对所述候选分割图进行编码，产生最佳匹配的背景特征；

步骤5：将前景对象和背景特征表示输入到生成对抗网络中，利用对抗损失函数和感知损失函数训练生成对抗网络的权重，得到训练好的生成对抗网络；

步骤6：将训练好的生成对抗网络作为文本合成图像模型，将待转换的文本描述输入到训练好的文本合成图像模型中，文本合成图像模型输出所述待转换的文本描述对应的图像；

所述的提取对象数据集中的所有对象、属性数据集中的所有属性和关系数据集中的所有关系，将得到的对象、属性和关系解析为依赖树，再对依赖树进行树转换得到语义图，包括：

提取对象数据集中的所有对象，提取属性数据集中的所有属性，提取关系数据集中的所有关系，将图像描述解析为场景图的起点，利用Stanford Parser v3.5.2输出对象、属性和关系之间的依存关系，根据所述依存关系将所述对象、属性和关系解析为依赖树，对依赖树执行量化修饰语处理、代词解析处理和复数名词处理，将依赖树转换为语义图；

所述量化修饰语处理将一个单词作为语义显著性单词，该语义显著性单词成为表达式中所有其他单词的开头，使这个新的多单词表达式依赖于接下来的名词短语；所述代词解析处理使用改进的由Hobbs算法的前三个规则启发而来的内在代词解析器，使内在代词解析器能够在依赖树进行操作，以恢复句子中宾语之间的关系；复数名词处理根据数值修饰符的值复制图形的各个节点；

所述的利用背景检索模块对所述场景图进行检索，根据布局相似性分数从候选语义分割图数据库中选择一组与场景图最相关的候选分割图，包括：

利用背景检索模块基于场景图中的实例信息在候选语义分割图数据库中进行检索，计算出场景图与检索到的各个分割图之间的距离值，将所述距离值作为布局相似性分数，将所有布局相似性分数进行降序排序，将排列靠前的多个场景图作为一组与场景图最相关的候选分割图；

给定包含k个实例的场景图S，c_i是实例S_i的类别，给定包含l个实例的分割图M与相应的正确标注图I，则场景图S与分割图M之间的距离IoU_r的计算方法为：

其中，C是对象类别的总数，M^j表示l个分割图的集合，S^j表示k个场景图的集合，∪和分别表示并和交运算；

所述的通过背景融合模块对所述候选分割图进行编码，获得最佳匹配的背景特征，包括：

利用背景融合模块对一组x个候选分割图进行编码，将编码后的x个分割图输入到x个卷积层，x个卷积层分别输出x个分割图的特征表示，将x个分割图的特征表示逐通道链接成一个总特征表示，对所述总特征表示进行池化操作，将所述总特征表示和池化操作后的总特征表示以通道连接成一个包含前景场景和背景类别的特征表示，利用2个卷积层对所述包含前景场景和背景类别的特征表示进行特征学习和修正，获得最佳匹配的背景特征。