[发明专利]跨媒体稀疏哈希索引方法

权利要求书

1.一种跨媒体稀疏哈希索引方法，其特征在于包括如下步骤：

1)对多个模态数据之间的关联关系利用超图进行统一建模；模态内的相似性使用数据的底层特征的欧氏距离，模态间的关联利用不同模态数据已知的关联关系；

2)将统一超图约束引入多模态字典学习的框架内，使得学习得到的多模态字典能保留模态内的相似性以及模态间的关联关系；

3)将学习得到的字典作为哈希函数，对新的数据利用对应模态的字典进行稀疏编码；

4)将稀疏编码通过哈希策略转化为稀疏编码集，并使用类jaccard距离来计算集合之间的相似度。

2.根据权利要求1所述的一种跨媒体稀疏哈希索引方法，其特征在于所述的步骤2)包括：

给出如下基于最小重建误差的目标函数，以实现多模态字典学习：

minA,Dx,Dy||X-DxAx||F2+||Y-DyAy||F2+Ω(A)s.t.||dkx||F2≤1,||dky||F2≤1,∀k=1,2,...K---(1)]]>

其中X=[x1,x2,...,xNx]∈Rpx×Nx,Y=[y1,y2,...,yNy]∈Rpy×Ny]]>是两个模态的数据，p_x，p_y为相应模态的数据的维度，N_x，N_y为数据的个数；Dx=[d1x,d1x,...dKx]∈Rpx×K,Dy=[d1y,d1y,...dky]∈Rpy×K]]>是数据集X和Y对应的字典；为；K为组成字典的元素的个数，组成D^x和D^y的元素个数相同使得不同模态的数据被映射到统一的字典空间里；是数据集X和Y中每个数据用对应的字典重建的稀疏系数；

此外，是来自不同模态数据对应的重建系数集合，并在目标函数中添加了额外的正则约束项Ω(A)，来实现两个目标：1)重建系数尽可能稀疏，以防止目标函数的“过拟合”，也能起到数据压缩的作用，2)重建系数保持了在超图中的不同模态数据之间关联关系，使得学到的字典具有好的鲁棒性；综合如上两个目标，给出如下的正则项Ω(A)：

Ω(A)=λ||A||1+α2Σe∈EΣ{vi,vj}⊆eω(e)δ(e)||ai-aj||2=λ||A||1+αTr(ALhAT)---(2)]]>

Ω(A)由两项组成，分别对应了之前定义的两个目标：稀疏和超图关联关系保持。

其中L_h为超图拉普拉斯矩阵，具体的定义如下：

Lh=I-Dv-1/2HWDe-1HTDv-1/2---(3).]]>

其中I是单位矩阵，H是关联矩阵，D_v，D_e为超图的顶点和超边的度的构建的对角矩阵，W为超边的权重构建的对角矩阵。

3.根据权利要求1所述的一种跨媒体稀疏哈希索引方法，其特征在于所述的步骤4)包括：

假设数据x的用其模态学习得到的字典D^x进行稀疏编码后得到再将稀疏编码通过哈希方法生成稀疏编码集：

SC+(ax)={i|∀i∈1,2,...,K,ifaix>σ}SC-(ax)={i|∀i∈1,2,...,K,ifaix<-σ}---(4)]]>

其中σ为设定的阈值，SC₊(·)和SC_{_}(·)对应两个量化函数，生成稀疏编码a^x的系数为正值和负值对应的下标集合；

此外，针对多个稀疏编码集，采用类似于jaccard相似度的度量机制来衡量它们之间的相似性，具体的相似度计算公式如下：

Sim(ax,ay)=12(|SC+(ax)∩SC+(ay)||SC+(ax)∪SC+(ay)|+|SC-(ax)∩SC-(ay)||SC-(ax)∪SC-(ay)|)---(5)]]>

在实现高效地基于稀疏编码集的检索时，有两种可选的方法：

●当K不大时，使用K维的二值向量来表达稀疏编码集，将稀疏编码集合的“交”和“并”的操作就转变为硬件实现的高效AND和OR位运算；

当K较大时，所有稀疏编码集对应K维的二值向量可能无法一次性加载到内存中来进行计算，使用另一种方法：使用min-Hash作为稀疏编码集的哈希函数，然后建立LSH索引，从而支持高效的检索。