[发明专利]标签嵌入在线哈希的跨模态多媒体数据检索方法及系统

说明书

本发明公开了标签嵌入在线哈希的跨模态多媒体数据检索方法及系统，根据多媒体训练数据，获取多媒体训练标签矩阵、多媒体训练数据不同模态的特征矩阵和待检索样本不同模态的特征矩阵；基于多媒体训练标签矩阵，构建标签语义相似块矩阵；将标签语义相似块矩阵，嵌入到海明空间中求取多媒体训练数据的哈希编码；根据多媒体训练数据的哈希编码和多媒体训练数据不同模态的特征矩阵，求取多媒体训练数据每个模态特征映射到多媒体训练数据哈希编码的投影矩阵；根据投影矩阵和待检索样本不同模态的特征矩阵，得到待检索样本的哈希编码；计算待检索样本的哈希编码与多媒体训练数据的哈希编码之间的距离，从多媒体训练数据中获取与待检索样本相似的样本。

技术领域

本公开涉及多媒体数据处理技术领域，特别是涉及标签嵌入在线哈希的跨模态多媒体数据检索方法及系统。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

最近邻检索(NN)就是根据数据的相似性，从数据库中寻找与目标数据最相似的项目。这种相似性通常被量化到数据之间的欧式距离或曼哈顿距离。然而，随着互联网多媒体数据在尺度和维度上的爆炸式增长，NN变得不可计算。近似最近邻搜索(ANN)作为一种效率和精度折中的方案，逐渐代替NN被用于大规模多媒体检索任务中。其中，哈希学习作为一种典型的ANN算法被广泛关注。它旨在将高维的数据映射到能够保持原始相似性的低维海明空间中，然后通过计算海明距离进行高效的搜索。根据是否利用监督信息，现有的哈希方法大致可以分为无监督哈希、半监督哈希、监督哈希。其中，监督哈希利用高层次语义信息，解决了多媒体数据的语义鸿沟问题，因此总是能取得比无监督方法好的性能。

互联中的多媒体数据通常包含多个异构的模态(图像、文本等)，用户对不同模态数据间的检索需求与日俱增，例如用图像检索文本、用文本检索图像。跨模态检索旨在将不同模态的数据映射到一个公共空间，然后进行相似搜索。结合哈希学习，有许多跨模态哈希方法被提出。

在实际应用中，数据通常是以数据流的形式收集到的。当新数据到来后，传统的基于批处理的哈希方法(所有训练数据必须一次性到位)只能用所有数据重新训练模型，这显然是非常低效的。而且，随着时间的流逝，数据库的规模越来越大，批处理哈希的计算复杂度也变得不可接受。所以，研究在线哈希方法在跨模态检索领域有非常大的意义。然而，现有的哈希方法大多是基于批处理的，很少有在线哈希方法被提出，导致跨模态的多媒体数据检索效率低下且准确率也比较低。

发明内容

为了解决现有技术的不足，本公开提供了标签嵌入在线哈希的跨模态多媒体数据检索方法及系统；该方法提高了模型的泛化能力，而且对数据流的搜索在效率和准确率上有很大的提高。

第一方面，本公开提供了标签嵌入在线哈希的跨模态多媒体数据检索方法；

标签嵌入在线哈希的跨模态多媒体数据检索方法，包括：

获取多媒体训练数据；根据多媒体训练数据，获取多媒体训练标签矩阵、多媒体训练数据不同模态的特征矩阵和待检索样本不同模态的特征矩阵；

基于多媒体训练标签矩阵，构建标签语义相似块矩阵；将标签语义相似块矩阵，嵌入到海明空间中，求取多媒体训练数据的哈希编码；

根据多媒体训练数据的哈希编码和多媒体训练数据不同模态的特征矩阵，求取多媒体训练数据每个模态特征映射到多媒体训练数据哈希编码的投影矩阵；

根据多媒体训练数据每个模态特征映射到多媒体训练数据哈希编码的投影矩阵，和待检索样本不同模态的特征矩阵，得到待检索样本的哈希编码；

计算待检索样本的哈希编码与多媒体训练数据的哈希编码之间的距离，根据计算出的距离，从多媒体训练数据中获取与待检索样本相似的样本。

第二方面，本公开提供了标签嵌入在线哈希的跨模态多媒体数据检索系统；