[发明专利]一种视觉与语义相似性约束的图像检索方法

权利要求书

1.一种保持视觉与语义相似性的图像检索方法，其特征在于包括如下步骤：

1）采用L1图和KNN图的两种不同构图算法，分别对图像视觉相似性和语义相似性进行建模：

对视觉相似性建模：以图像集原始视觉特征X＝[x₁,...,x_n]作为L1图的顶点，L1图的边权重矩阵W＝[w₁,...,w_n]，其中w_i计算如下：

min||wi||1s.t.||xi-Xwi||≤ϵ,wii=0,∀i---1]]>

其中，x_i为第i幅图像的原始视觉特征，w_i为矩阵W的第i列，ε为误差系数，w_ii为向量w_i的第i个分量；

构建视觉相似性L1图约束如下：

minRg=Σi=1n||vi-Vwi||2=||V-VW||F2---2]]>

=tr(V(I-W)(I-W)TVT)=tr(VLgVT)]]>

其中，L_g＝(I-W)(I-W)^T，V＝[v₁,...,v_n]为图像集在子空间上的特征表达，I为单位矩阵；对语义相似性建模：以图像集原始视觉特征X＝[x₁,...,x_n]作为KNN图的顶点，KNN图的边权重矩阵S中设置如下：

构建语义相似性KNN图约束如下：

minRs=12Σi,j=1n(vi-vj)2Sij=tr(VLsVT)---4]]>

其中，L_s＝D-S，S_ij为矩阵S中第i行第j列上的元素，D_ii为矩阵D上第i行第i列上的元素；

2）将得到的L1图约束和KNN图约束加入到传统的非负矩阵分解算法框架中，构建保持视觉与语义相似性的非负矩阵矩阵分解算法模型：

minU,V≥0||X-UV||F2+γ·{α·Rg+(1-α)·Rs}]]>

=minU,V≥0||X-UV||F2+γ·{V(α·Lg+(1-α)·Ls)VT}]]>    5

其中，α和γ为正则化参数，U为保持视觉和语义相似性的图像基矩阵，V为图像基矩阵U所展开的子空间中的特征表达；

3）利用图像数据集对公式5算法模型进行训练，计算得到保持视觉和语义相似性的图像基矩阵U和所有图像在图像基矩阵U所展开的子空间中的特征表达V，计算方法如下：

i)随机初始化U和V矩阵，令中间变量L＝α·L_g+(1-α)·L_s；

ii)迭代计算Uij←Uij(XVT)ij(UVVT)ij]]>和Vij←Vij(UTX+γVL-)ij(UTUV+γL+)ij]]>直到收敛，其中L+=12(L+|L|),]]>|L|为矩阵L中所有元素取对应绝对值所构成的矩阵；

4）在进行图像检索时，将作为检索参考的图像x转换到图像基矩阵U所展开的子空间中，得到新的特征表达v，计算如下：

v＝(U^TU)^-1U^Tx＝Mx，    6

其中，M＝(U^TU)^-1U^T，U^T为矩阵U转置，(U^TU)^-1为U^TU的逆矩阵；

5）依据步骤4）得到的v，计算v与图像数据集中任一图像x_i的特征表达v_i之间的距离s_i，计算公式如下：

s_i＝exp(-||v-v_i||²)    7

最后根据距离s_i对图像数据集中所有图像进行排序，返回距离值最小的前K个图像给用户，从而实现图像检索。