[发明专利]一种基于类别信息对齐的图像文本跨模态检索方法

说明书

本发明公开了一种基于类别信息对齐的图像文本跨模态检索方法，其目的是保持不同语义类别实例(图像文本)之间的区分，同时消除异构性差异。为了实现这一目的，本发明创新性地在公共表示空间即图像文本公共空间中引入类别信息来最小化区分损失，并引入跨模态损失来对齐不同的模态信息。此外，本发明还采用类别信息嵌入的方法来生成假特征，而不是像其他基于DNN的方法那样标记信息，同时，本发明在类别公共空间中最小化模态不变性损失来学习模态不变性特征。在这种学习策略的指导下，本发明尽可能充分利用图像‑文本耦合项的成对相似性语义信息，保证了所学习的表示既具有语义结构的区分性，又具有跨模态的不变性。

技术领域

本发明属于图像文本跨模态检索技术领域，更为具体地讲，涉及一种基于类别信息对齐的图像文本跨模态检索方法。

背景技术

跨模态检索是指不同模态的数据相互检索的过程。现有的跨模态检索的主流方法分为三种。

第一种是基本子空间学习的跨模态检索方法，该方法主要是将具有相同语义信息的成对数据集学习投影矩阵，将不同模态的特征投影到一个共同潜在子空间，然后在子空间中度量不同模态的相似性。如基于典型相关分析的方法和基于核的方法，通过最大化两组异构的不同模态数据之间的成对相关性来学习线性投影或选择合适的核函数来生成公共表示。

基于深度学习的跨模态检索方法更多还是关注底层特征学习和高层网络相关性，忽视了不同模态的数据内部结构和不同模态间语义关联。

第二种是基于深度学习的跨模态检索方法，该方法利用深度学习的特征表示能力将不同模态的特征抽取出来，然后在高层建立不同模态的语义关联。现有的深度学习的跨模态检索方法，无论是无监督的还是有监督的，通常只注重保持耦合跨模态项的成对相似性(例如图像和文本)共享语义标签并作为模型学习过程的输入。一些研究者建议使用标签信息来学习样本之间内部的区别信息。此外，通过强制每个图像-文本对的表示在公共空间中彼此接近来保持跨模态相似性。同时由于生成对抗网络强大的生成能力，使用标签信息和一个模态信息来生成相应的模态数据来改进跨模态检索精度也是现有的方法之一。

尽管标签信息已用于这些方法中，分类信息仅用于学习每个模态内或模态间的区别特征。这些跨模态学习方法没有充分利用语义信息

第三种方法是基于哈希变换的跨模态检索方法，该方法利用成对的样本数据信息，学习不同模态的哈希变换，将不同模态的特征映射到汉明空间实现快速的跨模态检索。但该跨模态检索方法检索精度还不够高。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于类别信息对齐的图像文本跨模态检索方法，以保持不同语义类别图像文本之间的区分，消除异构性差异，同时，尽可能充分利用图像-文本耦合项的成对相似性语义信息，保证所学习的表示既具有语义结构的区分性，又具有跨模态的不变性。

为实现上述发明目的，本发明基于类别信息对齐的图像文本跨模态检索方法，其特征在于，包括以下步骤：

(1)、构建训练数据集

将一张图像I以及对应文本T、类别信息C作为一个图像文本对实例存入训练数据集中，这样，N个图像文本对实例构成训练数据集；

(2)、构建基于类别区分的图像文本公共空间并计算损失函数

2.1)、构建真图像空间

对于图像I，提取其图像特征向量作为真图像特征然后用真图像编码器对真图像特征进行编码，得到真图像嵌入

2.2)、构建真文本空间

对于图像I对应的文本T，将其转换为文本特征向量，并作为真文本特征然后用真文本编码器对真文本特征进行编码，得到真文本嵌入

2.3)、构建真图像类别判别器真文本类别判别器模态间判别器D_imd