[发明专利]跨媒体稀疏哈希索引方法

说明书

技术领域

本发明涉及跨媒体检索，尤其涉及一种基于海量数据的跨媒体高效索引方法。

背景技术

随着互联网技术的高速发展和社交网络的风靡，网络上的多媒体数据的数量正在以惊人的速度增长。多媒体数据具有复杂的语义，难以直接进行度量，一般的做法是对其进行特征抽取得到相应的特征。通常这些特征都是高维的，因此，多媒体数据的检索问题就转变为了高维数据的检索问题。传统的暴力的线性比较的策略在面对大规模高维数据的时候的时间复杂度显然不能满足用户的在线搜索需求。此时，人们需要一种有效的索引机制以实现高维数据地高效检索。哈希方法是近些年来的高维索引的热点研究方向。它的核心的思想就是用近似最近邻代替传统的最近邻的来实现海量高维数据的检索。相对于检索的准确性，用户更注重搜索的速度，在大多数情况下，完全精确的查找并不是必须的，近似解已经足以满足用户绝大多数的要求。给定一个高维数据的搜索，通过哈希函数将其映射为简短的哈希编码，在数据集(查找和它具有相同或相近编码的数据作为搜索结果。由于哈希编码的相似性计算是非常高效的，因此在面对海量数据的时候哈希方法也能取得很好的查询性能。

多媒体数据的另一个特性就是多模态的数据存在共生关系。举例来说，一张网络图像除了有图片本身，还有一些描述信息如标题、用户的标注信息、评论信息等；一则新闻报道除了有文字的描述通常还有与之相关的新闻图片。跨媒体检索的目标就是合理地利用同一模态内数据的相似性以及不同模态的数据已知的关联关系，在不同媒体之间建立“桥梁”，使得不同模态的数据可以在统一的度量空间进行相似性比较。为了能对海量的多模态的多媒体数据实现高效的跨媒体检索，相应的跨媒体哈希索引算法被相继提出。

已有的跨媒体哈希算法大多还是基于流形学习的框架，学习的哈希函数试图在保留每个模态的数据的流形的同时，将不同模态映射到同一个子空间内并将不同模态的流形对齐。近年来，人们发现字典学习的方法也可以很好地用学习得到的字典对数据进行有效地表达。本发明提出的方法就是基于字典学习的框架来来进行多模态字典学习，并把学习得到的字典作为哈希函数建立跨媒体哈希索引。

发明内容

本发明的目的是克服现有技术的不足，提供一种跨媒体稀疏哈希索引的方法。

跨媒体稀疏哈希索引方法包括如下步骤：

1)对多个模态数据之间的关联关系利用超图进行统一建模；模态内的相似性使用数据的底层特征的欧氏距离，模态间的关联利用不同模态数据已知的关联关系；

2)将统一超图约束引入多模态字典学习的框架内，使得学习得到的多模态字典能保留模态内的相似性以及模态间的关联关系；

3)将学习得到的字典作为哈希函数，对新的数据利用对应模态的字典进行稀疏编码；

4)将稀疏编码通过哈希策略转化为稀疏编码集，并使用类jaccard距离来计算集合之间的相似度。

所述的步骤2)包括：

给出如下基于最小重建误差的目标函数，以实现多模态字典学习：