[发明专利]一种基于子空间混合超图学习的交叉模态检索方法

说明书

一种基于子空间混合超图学习的交叉模态检索方法，基于典型相关性分析的交叉模态公共子空间学习；通过公共子空间的映射来计算模态内部和模态之间的相似度；通过不同模态内部和模态之间的相似度计算混合关系矩阵；通过对关系矩阵的提炼构建混合超图模型；最后采用超图学习进行交叉模态检索和样例排序。本发明实例针对交叉模态的异构差异性，以及样本之间的高阶关系，将超图模型结合交叉模态公共子空间学习，应用到交叉模态检索中，使模型能够同时考虑模态间的相似度和模态内部的相似度，同时兼顾多个样本之间的高阶关系，提高最终的交叉模态检索的查准率和查全率。本发明有效地提高了交叉模态检索的性能，能大大提高交叉模态检索的准确率和召回率。

技术领域

本发明属于计算机技术领域，具体涉及一种基于子空间混合超图学习的交叉模态检索方法。

背景技术

当前，多模态检索问题已经吸引了大量学者的关注。由于在互联网中存在着大量的多媒体数据，如图像、文本、视频等等，也就因此对于一个目标的语义描述提供了多种多样的表达方式。例如对于猫的描述形式可以包含：一段关于猫的描述的文字，一段猫的录制视频，一段猫叫声的录音，或者是一些关于猫的照片。而多模态检索问题就是针对这种多模态之间的交叉检索，即用图片去检索相关的文本，或者用文本去检索相关的图片。针对两种模态之间的检索，称之为交叉模态检索。然而由于不同语义表现形式内在的异构性差异，如何去度量不同语义表现形式之间的相似度依然是一个极具挑战的科研课题。不仅如此，当前的方法基本上是以对于对之间的关系为基础，考虑交叉模态检索的，即衡量样本之间的关系都是考虑两两之间的关系，如何利用超过两个之间的关系即高阶关系，提高交叉模态检索依然是一个空白的研究点。

近些年，一大批研究工作主要集中在消除不同模态之间的异构差异性。这些工作主要可以被分成两大类：基于子空间学习的方法和交叉模态哈希方法。

子空间学习方法试图通过学习一个隐含的公共子空间，使不同模态都能够被投影到公共子空间，在子空间中由于模态的维度相同，因此能够消除不同模态之间的异构差异性，并且他们之间的相似度能够直接度量。子空间学习方法又可以分成有监督的和无监督的。无监督方法，例如典型相关性分析(CCA)，最小二乘(PLS)以及局部保留投影等方法直接将原始空间的数据映射到公共子空间中，并且不同模态之间的关系最大化。而有监督方法则是通过利用标签信息，是具有相同标签的不同模态数据在子空间中尽量靠近，反之则远离。有监督的子空间学习方法，能够在一定程度上优于无监督的方法，然而标签信息的获取是一项代价昂贵的活动，因此近些年半监督的方法也有学者研究并提出。

交叉模态哈希结合了多模态分析和哈希技术，通过投影不同模态的数据进入一个统一的哈希空间。在哈希空间中，不同模态的数据用哈希编码表示，降低了数据处理的空间复杂度和存储开销。并且哈希编码之间的相似度能够通过汉明距离直接计算，降低了相似度计算的时间复杂度。然而不管是基于交叉模态哈希的方法还是子空间学习的方法，它们大多数在衡量样本之间的关系时，仅仅考虑了两两之间的关系，而忽视了更多样本之间的高阶关系。

为了获取更多样本之间的高阶关系，超图学习已经被广泛应用于聚类、分类和信息检索领域。超图和普通图之间的区别在于：超图一条边能够连接两个以上数量的节点，而普通图的边仅仅连接两个顶点。正因为如此，通过超图能够将样本之间的高阶关系嵌入在超图的边中。通过已有的一些工作，我们发现超图有利于研究多个样本之间的高阶关系，而不仅仅是两两之间的关系。例如普通图通过一条边的权重能够度量两个点之间的相似度，而超图通过超边能够度量3个或者更多节点之前的相似性，这就为交叉模态检索提供了研究样本之间高阶关系的可能性。因此本发明利用超图来研究样本之间的高阶关系，发明一种基于子空间混合超图学习的交叉模态检索算法。消除异构模态之间的差异性，同时考虑模态内部和模态之间的相似度关系，计算混合相似度关系矩阵，以此构建混合超图模型，进而能够通过超图学习进行交叉模态的检索和结果排序。

发明内容