[发明专利]一种基于改进版文本解析器的文本至图像生成算法

权利要求书

1.一种基于改进版文本解析器的文本至图像生成算法，其特征在于，该方法包括以下步骤：

步骤S1：提取COCO数据集中的文本信息并进行统计与分类，完成信息统计工作；

步骤S2：基于精细分类构建关系映射数据集，并将其划分训练集、验证集与测试集；

步骤S3：构建关系自动分类网络，并基于步骤S2中的分类数据集进行预训练，实现复杂语义关系到几何空间关系的映射；

所述步骤S3具体为：

步骤S31：构建embedding layer模块，即使用预训练好的word2vec模型，得到文本、三元组、关系词中分别对应的词嵌入向量，具体而言：该模块中，文本t、每个三元组c_i以及关系词r_i都输入到加载了预训练权重的word2vec模型中，分别得到文本嵌入向量三元组嵌入向量与词向量的特征

步骤S32：构建LSTM网络，对文本及三元组的嵌入向量进行进一步处理，提取语义特征向量；即在每个LSTM单元利用遗忘门控制决定丢弃上一层中的文本特征信息，利用输入门存放有效的文本特征信息，利用输出门对每层的输出文本信息进行过滤；将文本嵌入向量输入LSTM网络，通过LSTM单元，输出文本特征f_t；将源自文本的三元组嵌入向量输入LSTM网络，通过LSTM单元，输出三元组特征

步骤S33：基于步骤S31中的embedding layer模块、步骤S32中的LSTM模块，再融合MLP模块共同构建关系自动分类网络；具体而言，将关系词向量文本特征f_t，三元组特征拼接在一起得到特征f，即定义其中，[；]表示拼接；将f输入多层感知机(MLP)得到6维向量，向量中每一个元素代表着一类COCO数据集中可以处理的几何位置关系；

步骤S34：使用步骤S2中构建的关系映射数据集对步骤S33中构建的关系自动分类网络进行预训练，并使用Adam优化器来最小化损失；

步骤S4：构建文本自动处理模块，实现对输入文本的关键信息提取；

步骤S5：基于步骤S3中的关系自动分类网络与步骤S4中的文本自动处理模块，构建改进版的文本的解析器，输入文本描述，输出解析后的结构化三元组，进而得到场景图；

步骤S6：基于场景图至图像生成算法sg2im构建布局预测网络，并将场景图输入到布局预测网络中，得到场景布局；

步骤S7：结合Real-Time Style Transfer风格转移与LostGANs图像生成模型构建风格化图像生成网络，并将布局输入风格化图像生成网络中，得到具有不同艺术风格的图像；

步骤S8：基于步骤S5中的改进版文本解析器，步骤S6中的布局预测网络，步骤S7中的风格化图像生成网络，按照S5、S6、S7的顺序实现整体的文本至图像生成算法，并将算法嵌入网页后台，实现网络设计，以方便用户使用。

2.根据权利要求1所述的一种基于改进版文本解析器的文本至图像算法，其特征在于，所述步骤S1具体为：

步骤S11：将COCO数据集中的文本信息进行解析；首先，对一句话中的所有词语进行词性标注；其次，搜索并记录句子的名词和他们的修饰语；随后，确定动词的主语(包括名词主语，介词宾语)；而后，找到各个名词之间的关系；最后，根据找到的名词及关系，生成形如(主，谓，宾)的结构化三元组；

步骤S12：将所有关系词提取整合成一个集合，作为待学习的关系集合；

步骤S13：对关系词进行粗分类处理；即，将频次大于等于30的关系词汇进行粗分类，分为Geometric(几何关系)，Possessive(从属关系)，Semantic(语义关系)，Misc(其他)四类，对数据集信息完成初步统计。