[发明专利]一种基于特征选择和虚拟数据生成的半监督跨媒体检索方法

说明书

本发明提出了一种基于特征选择和虚拟数据生成的半监督跨媒体检索方法。本方法提出根据训练数据的特征生成一些虚拟的数据点以扩充训练数据，同时在学习两对投影矩阵的过程中采用l_2,1范数进行特征选择。具体来说，首先对每一类图像和文本求其类中心，然后在其周围随机生成新的数据点，构成新的训练数据；然后，使用新的数据来学习两对投影矩阵，与此同时，采用l_2,1范数约束，进行特征选择；最后对检索结果用mAP值进行评估。这种方法不仅生成一些随机数据点来提高训练数据的多样性，同时可以在学习两对投影矩阵的时候选择一些更加具有区分性和丰富信息的特征。在三个不同数据集上的实验结果也表明此方法的优越性。

技术领域

本发明涉及跨媒体检索方法，更具体地说，涉及一种基于特征选择和虚拟数据生成的半监督跨媒体检索方法。

背景技术

随着多媒体技术的发展，越来越多的数据可以表示成不同的模态，而且不同模态的数据可能有着同样的语义信息。因此，如何探索这些具有相同语义但表现为不同模态数据之间的关系变得尤为重要。其中，在最近的多年中，跨媒体检索技术越来越引起研究者的关注。跨媒体检索就是指用一种模态的数据作为查询数据来检索具有相同语义信息的其他模态的数据。以图片和文本的检索为例，可以使用图片去检索具有相应语义信息的文本，简称：I2T；或者使用文本去检索具有相应语义信息的图片，简称：T2I。本发明以图片和文本间的检索为例进行分析和实验，但是此方法可以扩展到其他不同模态之间的检索。

在跨媒体检索技术中，最主要的问题是：不同模态的数据会有不同的特征表示，这些不同的特征是在不同的维度空间里，这样异构数据之间的相似性是没法直接比较的。因此，跨媒体检索领域主要关注的问题就是如何跨越这种语义鸿沟。一种流行的解决方法就是子空间学习法。子空间学习法旨在学习一个潜在的语义空间，在这个潜在的语义空间中异构数据的相似性可以被直接测量。传统的子空间学习法是学习一对投影矩阵，通过这一对投影矩阵就可以将不同模态的数据映射到一个潜在的语义空间内，这样异构数据的相似性就可以被测量了。一种流行的方法是：典型相关分析(Canonical CorrelationAnalysis，CCA)，CCA学习了一对投影矩阵，在将不同模态的特征映射到语义空间时最大化异构数据之间的相关性。基于CCA，语义相关匹配(Semantic Correlation Match，SCM)使用逻辑回归来获得语义空间。另一种流行的方法是：偏最小二乘(Partial Least Squares，PLS)，PLS旨在通过最大化异构数据之间的相关性来学习两个潜在的语义空间。除此之外，归一化多视角分析(generalized multi-view analysis，GMA)以及基于GMA的GMLDA和GMMFA通过使用标签信息获取多角度的特征，并且取得了更好的效果。

然而，通常的跨媒体检索任务存在方向性，即图像检索文本(I2T)和文本检索图像(T2I)，以上方法仅仅学习一对投影矩阵，并没有强调查询数据的重要性。具体来说，在I2T任务中，图片对于学习投影矩阵更具决定性；同理，T2I任务中，则更加强调文本的重要性。因此，学习一对投影矩阵的方法很难达到最优的效果。为了强调不同任务中查询数据的重要性，基于模态的跨媒体检索(Modality-dependent Cross-media Retrieval，MDCR)方法提出学习两对投影矩阵，即对I2T和T2I任务分别学习一对投影矩阵，这样就可以充分考虑查询数据的重要性，因此检索的精度也得到了很大的提升。

但是，以上方法都只是有监督的方法，仅仅使用有标记的数据进行训练而忽略了未标记的数据，同时更没法扩充固有的数据集。其次，当前方法仅仅从如何测量异构数据之间的相似性的角度出发，旨在学习更有效的投影矩阵，从来在语义空间内可以得到更准确的比较，但是，他们都忽略了在学习投影矩阵时对信息含量更丰富、更具区分性特征的选择。因此，我们基于MDCR发明了一种可以随机生成虚拟数据点的半监督方法，同时采用l_2,1范数进行特征选择。

发明内容