[发明专利]基于跨模态相似度和生成对抗网络的文本生成图像方法

权利要求书

1.一种基于跨模态相似度和生成对抗网络的文本生成图像方法，其特征在于，包括：

步骤S1：使用匹配和不匹配的数据训练全局一致性模型、局部一致性模型和关系一致性模型，其中，所述全局一致性模型、局部一致性模型和关系一致性模型分别用于得到文本与图像的全局表示、局部表示和关系表示；

步骤S2：利用训练好的全局一致性模型、局部一致性模型和关系一致性模型得到待处理的文本的全局表示、局部表示和关系表示；

步骤S3：将待处理文本的全局表示、局部表示和关系表示串联得到待处理文本的文本表示；

步骤S4：利用F^ca条件增强模块将待处理文本的文本表示转换为条件向量；

步骤S5：将条件向量输入生成器得到生成的图像；

对于全局表示：

每个输入图像被调整为299×299的大小，然后被送入卷积神经网络，获得一个高级的全局视觉特征；

使用递归神经网络来处理文本数据，所述递归神经网络为双向LSTM模型来，所述双向LSTM模型抽取语义向量，在双向LSTM模型中，每个单词对应两个潜在状态，串联这两个潜在状态来表示每个单词的语义信息；

对于局部表示：

每个图像被送入基于VGG-16的Fater R-CNN模型，得到多个边界框，将边界框中的图像从原图中裁出，并当作单个子图像处理，送入卷积神经网络得到各单个子图像的全局表示，并将所有单个子图像的全局表示组合得到图像的局部表示；

分解文本得到多个单词，利用双向LSTM和注意力机制得到文本的局部表示；

所述卷积神经网络是基于Inception-v3网络设计的，并使用Inception-v3最后的平均池化层结果作为图像的全局表示；

所述文本的局部表示为：

其中：l^t为文本t的局部表示，m为文本中的单词个数，为单词k的注意力权重，为单词k的语义表示向量；

所述文本的关系表示为：

其中：r^t为文本t的关系表示，m为文本中的单词个数，为单词k的注意力权重，为单词k的语义表示向量；

所述步骤S1中的训练过程中，总损失函数为：

其中：为总损失函数，为全局表示匹配的损失函数，λ_g为全局表示匹配的权重，为局部表示匹配的损失函数，λ_l为局部表示匹配的权重，为关系表示匹配的损失函数，λ_r为关系表示匹配的权重；

所述全局表示匹配的损失函数为：

其中：为局部表示匹配的损失函数，N是样本数量，为匹配图像，为匹配文本，为不匹配文本，为使用匹配文本图像对和匹配图像但不匹配文本的不匹配文本图像对的损失函数，为使用匹配文本图像对和不匹配图像但匹配文本的不匹配文本图像对的损失函数，α表示边际向量，d(·)为点乘计算，表示全局表示的匹配对，和是全局表示的不匹配对；

所述局部表示匹配的损失函数为：

其中：为局部表示匹配的损失函数，K为最近邻的个数，为局部表示的匹配对，为局部表示的不匹配对。