[发明专利]基于对抗学习的小样本跨模态检索方法

权利要求书

1.一种基于对抗学习的小样本跨模态检索方法，其特征在于，包括以下步骤：

步骤1、对图像文本以及对应的标签数据进行数据集划分：

步骤2、利用现有的开源技术分别提取图像以及文本数据的图像特征以及文本特征；并将图像的特征以及文本的特征分别处理成为三个设定尺寸；

步骤3、对预处理之后的图像特征和文本特征进行多尺度特征融合，将处理后的多尺度特征转换成为哈希码，分别将生成的图像模态和文本模态多尺度哈希码进行拼接操作；

步骤4、生成图像特征以及文本特征的哈希码并进行融合；将融合得到的图像特征以及文本特征输入到哈希层，通过线性转换得到哈希码；

步骤5、对哈希码进行特征重构：由步骤4得到的哈希码进行特征重构，将哈希码转换为高维向量，得到重构的图像特征以及文本特征，将重构的图像特征以及文本特征与融合的图像特征以及文本特征进行比较，提高哈希码的准确度；

步骤6、生成另一模态特征，实现跨模态检索。

2.根据权利要求1所述的一种基于对抗学习的小样本跨模态检索方法，其特征在于，步骤1中所述数据集中包括图像数据、文本数据以及对应的标签数据，按照数据集中每个类别在标签数据中所占的比例对数据集进行划分。

3.根据权利要求1所述的一种基于对抗学习的小样本跨模态检索方法，其特征在于，步骤2中所述图像特征为sift特征，文本特征为BoW向量。

4.根据权利要求1所述的一种基于对抗学习的小样本跨模态检索方法，其特征在于，步骤2中所述处理为，对于图像模态，三个尺度的特征都通过神经网络进行处理，其中神经网络由五个全连接层和两层卷积层构成的，对文本模态，只将初始的文本特征通过线性转换得到三个设定尺寸的文本特征。

5.根据权利要求1所述的一种基于对抗学习的小样本跨模态检索方法，其特征在于，步骤3中所述对预处理之后的图像特征进行多尺度特征融合，将预处理后的三个设定尺寸的图像特征融合到一起，再转换到设定的图像特征维度尺寸，同时对融合后的图像特征加入自注意力机制；

对于文本模态，对预处理后的三个设定尺寸的文本特征进行拼接，并再次转换到文本模态原始的特征维度大小。

6.根据权利要求1所述的一种基于对抗学习的小样本跨模态检索方法，其特征在于，步骤3中所述将生成的图像模态多尺度哈希码进行拼接操作的公式如下所示：

式中H_{I_com}是拼接后的图像模态哈希码，是图像第i个多尺度的哈希码；

所述将生成的文本模态多尺度哈希码进行拼接操作的公式如下所示：

式中H_{T_com}是拼接后的文本模态哈希码，是文本第i个多尺度的哈希码。

7.根据权利要求1所述的一种基于对抗学习的小样本跨模态检索方法，其特征在于，步6中所述生成另一模态特征为：将另一个模态的哈希码进行升维转换，由图像模态哈希码生成文本特征，由文本模态哈希码生成图像特征，通过对抗损失约束两模态之间的模态间异构性，实现跨模态检索。