[发明专利]一种基于统一关联超图规约的跨媒体检索方法

说明书

本发明涉及一种基于统一关联超图规约的跨媒体检索方法，包括以下步骤：1.建立包含多种媒体类型的跨媒体数据集，提取每种媒体类型数据的特征向量；2.通过跨媒体数据集，同时为所有媒体学习得到统一特征表示映射矩阵，通过在一个关联超图中建模所有媒体数据，综合考虑了所有媒体的关联关系；3.根据映射矩阵，将不同媒体类型映射到统一空间，在统一空间中计算媒体数据的相似性；4.以任意一种媒体类型作为查询，计算其与作为查询目标的媒体类型数据的相似性，并根据相似性从大到小排序，最终输出检索结果。本发明将所有媒体数据建模在一个超图中，提高了建模的统一性和信息的多样性，提高了跨媒体检索的准确率。

技术领域

本发明涉及多媒体检索领域，具体涉及一种基于统一关联超图规约的跨媒体检索方法。

背景技术

近年来，互联网上的多媒体数据(如图像、视频、文本、音频等)总量飞速增长，已经成为大数据的主要内容。面对快速增长的媒体数量和丰富多样的媒体种类，用户对多媒体数据的检索需求越来越强烈。然而，现有的搜索引擎系统(如百度等)仍然主要基于文本关键词，通过对用户输入文本进行匹配来实现检索。另一方面，基于内容的多媒体检索能够根据内容的相似性进行检索，但局限在单媒体检索上，即返回的检索结果媒体类型与用户输入的媒体类型必须一致，从而限制了检索的灵活性和全面性。跨媒体检索是指用户以任意一种媒体类型作为输入，系统经过检索后返回所有媒体类型的结果。如用户输入一幅图片，不仅能够返回内容相关的图片，还能够得到相关文本、音频、视频等数据。

相比较单媒体检索，跨媒体检索具有两方面的优势：一方面能够返回所有媒体的相关数据，增加了检索的灵活性；另一方面多种媒体相互促进，起到了降低噪声的修正作用。

现有的最常见的跨媒体检索方法是基于统计分析的映射学习方法。其代表为典型相关分析(Canonical Correlation Analysis，简称CCA)。CCA通过统计分析，学习得到能够最大化两组异构数据关联性的子空间，从而将两种媒体的特征向量映射到统一空间中。CCA被广泛应用于如视频音源定位、视频说话人检测等研究中。另一种相关方法是跨模态因子分析(Cross-modal Factor Analysis，简称CFA)，由Li等人在文献“Multimedia contentprocessing through cross-modal association”中提出。该方法直接在映射后的空间中最小化两组数据间的弗罗贝尼乌斯范数(Frobenius Norm)，也取得了较好的效果。

为了利用已知的数据标注信息，Rasiwasia等人在其文献“A New Approach toCross-Modal Multimedia Retrieval”中提出了高层语义映射方法：先对不同媒体数据进行CCA学习关联，再在统一空间中使用逻辑回归得到高层语义表示(相同维度的语义概念向量)。该方法在CCA的基础上取得了一定的效果提升，但只利用了有标注的信息，且无法同时建模两种以上媒体。另外，关联学习和高层语义表示是两个独立的步骤，无法同时考虑。针对这些问题，Zhai等人在文献“Learning Cross-Media Joint Representation withSparse and Semi-Supervised Regularization”中提出了一种基于稀疏和半监督规约的跨媒体检索方法，同时进行关联学习和语义抽象。该方法在一个统一的框架中对不同媒体的数据使用半监督图规约方法，且加入稀疏规约项，从而能够利用无监督的数据取得更好的效果。另外，该方法也能够同时建模两种以上媒体。但是，它对于不同媒体分别建图，不能同时有效考虑所有媒体的关联信息，从而在信息的全面性上有所欠缺。

发明内容

针对现有技术的不足，本发明提出了一种基于统一关联超图规约的跨媒体检索方法，能够在映射后的统一空间中，同时将所有媒体建模在同一个超图中，从而使得模型具有全面分析跨媒体关联的能力。该方法同时学习不同媒体的统一特征表示映射矩阵，且利用超图表达复杂关联的能力，使得模型的信息更加完整，提高了跨媒体检索的准确率。

为达到以上目的，本发明采用的技术方案如下：