[发明专利]多标签核化典型相关分析检索方法

说明书

本发明属于计算机检索技术领域，具体涉及一种多标签核化典型相关分析检索方法。主要步骤为：(S1)选择文本和视觉图像，构建文本、视觉图像和标签的配对数据，并选择配对数据的样本；(S2)计算标签的语义相似性矩阵；(S3)将语义相似性矩阵应用于核化典型相关分析来求取多模态共享子空间；(S4)分别求取视觉图像与文本在多模态共享子空间投影表示；(S5)进行检索，获取跨模态子空间的检索结果。本发明通过对多媒体文档中多标签形式的高层语义信息加以利用同时应用KCCA来挖掘不同模态之间非线性的相关关系，学习到了更适合于跨模态检索任务的不同模态的更具有区分性的公共子空间，得到了很好的检索效果。

技术领域

本发明属于计算机检索技术领域，具体涉及一种多标签核化典型相关分析检索方法。

背景技术

跨模态信息检索是一个具有挑战性的研究课题，查询和结果属于不同的模态，跨模态信息检索即多模态信息之间的相互检索，例如图像检索文本，文本检索图像。由于“语义鸿沟”的存在，不能直接对其进行比较。因此，此任务中的关键问题是如何测量多个模态之间的距离或相似性。现有技术中通过学习一个共享子空间来对齐这两个特征空间，以便不同的模态之间可以比较。在现有方法中，典型相关分析(Canonical CorrelationAnalysis，简称CCA)[1]显示出了其简单性和效率，其通过最大化两个模态投影之间的相关性来学习共享子空间。CCA已经成为许多跨模态检索方法的主力。已经提出了CCA的许多扩展用于近年来的交叉模式检索的任务。

虽然CCA由于其简单性和效率而受欢迎，但它具有若干缺点。CCA依赖于模态之间的一一对应的配对关系，并未利用多媒体文档中存在的高层语义标签信息，这导致其不能得到更好地适合于跨模态检索任务子空间。最近，已经提出了使用标签信息的一些CCA的扩展方法。然而，大多数这些工作只适用于单个标签注释多媒体文档中。通常情况下，一张图像可以属于多个类，因此假设数据用单个标签注释是不合理的，并且导致标签信息未被最大程度的利用。因此，更接近真实情况的是考虑多标签信息以挖掘来自不同模态的数据之间的相关性。

典型相关分析，首先由Hotelling提出，是一种用于发现多个数据空间的子空间的数据分析方法。然而，经典CCA忽略了限制其性能的附加高级语义信息。Rasiwasia et al为单标签数据集提出了cluster-CCA[1]。Viresh Ranjan et al在文献[2]提出了考虑多标签信息的多标签典型相关分析(multi-label Canonical Correlation Analysis，简称ml-CCA)。作为CCA的拓展方法，ml-CCA胜过大多数CCA的其它拓展方法受益于考虑多标记信息。然而ml-CCA是线性方法而不同模态的数据之间的相关性往往并非线性关系，这就限制了ml-CCA的性能。

通常情况下，图像可以属于多个类，即一个图像通常对应多个标签，考虑多标签信息的情况更符合现实；同时，多模态之间的相关性并非简单地线性关系。然而，现有的方法或者不利用多标签信息形式的高级语义信息，或者不能挖掘模态间的非线性关系。参考文献如下：

[1]Vijay Mahadevan,“Cluster canonical correlation analysis,”Aistats,2014.

[2]V.Ranjan,N.Rasiwasia,and C.V.Jawahar,“Multilabel cross-modalretrieval,”in 2015IEEE International Conference on Computer Vision(ICCV),Dec2015,pp.4094–4102.

发明内容