[发明专利]基于对抗学习的小样本跨模态检索方法

说明书

本发明提供一种基于对抗学习的小样本跨模态检索方法，涉及跨模态检索技术领域。本发明解决了现有的跨模态检索方法中对小样本数据检索精度低的不足，以及没有充分解决不同模态数据之间的异构性和语义鸿沟问题，首先对样本进行特征提取，图像模态是对图像进行三个尺度的多尺度特征融合，文本模态通过MLP处理BoW词袋向量，有效地挖掘了图像与文本模态之间的语义关联和语义信息。这个方法可以用于小样本的跨模态检索，但同样适用于常规的跨模态检索中。

技术领域

本发明涉及跨模态检索技术领域，尤其涉及一种基于对抗学习的小样本跨模态检索方法。

背景技术

近年来随着互联网技术的迅速增长，使用互联网的人越来越多，网络上的数据类型也愈发丰富，各种类型的多媒体数据的数据量也越来越多。跨模态检索是指输入一种模态的数据可以检索出其他非本模态的数据。目前比较常见的跨模态检索是图像与文本两个模态之间的检索，这两种模态的数据是目前数量较多的多媒体数据。目前常见的跨模态检索方法都是基于深度学习的，需要依赖于大量的训练数据，对模型进行训练后在检索中可以达到很好的检索效果。虽然这两种多媒体数据的数据总量比较多，但是这两种模态中某些类型的数据很少，那么在这种情况下传统的跨模态检索的准确率将会由于训练集中样本数量少而变得很低。

跨模态检索中的数据是分为两个模态的，例如文本-图像，文本-视频，图像-草图。两个不同模态的数据之间会有异构性，具有很大的语义鸿沟。因为不同模态的数据之间，数据的分布是不同的。如果只是单纯的将两种模态进行特征提取后并映射到同一空间，那么两种模态间数据的语义鸿沟还是无法得到根本解决。除了模态间的语义鸿沟，在单个模态的内部，每个样本之间也会有模态内异构性，所以当某些类别的数据样本数量很少时，模型并不能很好的学到他们的特征。

通常对上述问题的解决方案是将不同模态的数据映射到同一子空间，得到一个统一的表示，在进行跨模态检索时，计算两个模态数据之间的相似性衡量两个样本之间是否匹配。目前的方法中大多是基于深度学习的哈希方法，虽然有很好的性能，但是无法解决当样本数量很少的时候模态内部的关联关系。因为一个模态数据中往往有一部分数据的数据类型占比很大，在学习的过程中可能会将那些占比小的数据类型一些信息忽略掉，所以现有的方法在处理小样本数据时，学习公共表征表现的不是很好。

现有方法的问题主要在于不同模态数据之间的异构性，如何有效的提取有力的公共表征以及当样本数量比较少的时候，模型训练中出现比较严重的过拟合现象如何解决。

发明内容

针对现有技术的不足，本发明提供一种基于对抗学习的小样本跨模态检索方法。解决了现有的跨模态检索方法中对小样本数据检索精度低的不足，以及没有充分解决不同模态数据之间的异构性和语义鸿沟问题，首先对样本进行特征提取，图像模态是对图像进行三个尺度的多尺度特征融合，文本模态通过MLP处理B_oW词袋向量，有效地挖掘了图像与文本模态之间的语义关联和语义信息。这个方法可以用于小样本的跨模态检索，但同样适用于常规的跨模态检索中。

一种基于对抗学习的小样本跨模态检索方法，包括以下步骤：

步骤1、对图像文本以及对应的标签数据进行数据集划分：

所述数据集中包括图像数据、文本数据以及对应的标签数据，按照数据集中每个类别在标签数据中所占的比例对数据集进行划分；

步骤2、利用现有的开源技术分别提取图像以及文本数据的图像特征以及文本特征；

所述图像特征为sift特征，文本特征为BoW向量；

首先将图像的特征以及文本的特征分别处理成为三个设定尺寸；

对于图像模态，三个尺度的特征都通过神经网络进行处理，所述神经网络由五个全连接层和两层卷积层构成的，对文本模态，只将初始的文本特征通过线性转换得到三个设定尺寸的文本特征。