[发明专利]基于隐空间学习和双向排序学习的跨媒体排序方法

权利要求书

1.一种基于隐空间学习和双向排序学习的跨媒体排序方法，其特征在于包括如下步骤：

1)将文本检索图像的排序样本和图像检索文本的排序样本统一构建为训练样本；

2)对构建得到的训练样本进行基于隐空间学习和双向排序学习的跨媒体排序学习，得到多媒体语义空间以及跨媒体排序模型；

3)使用学习得到的跨媒体排序模型进行跨媒体排序：用户提交查询例子后，首先找到该查询例子在多媒体语义空间的坐标，然后根据跨媒体对象在多媒体语义空间内的坐标，计算查询例子与其他所有跨媒体对象在多媒体语义空间的相似度，并根据该相似度，对所有跨媒体对象进行排序。

2.根据权利要求1所述的一种基于隐空间学习和双向排序学习的跨媒体排序方法，其特征在于，所述的步骤1)包括：

1)对训练样本里的所有文本文档利用词袋模型进行特征表达，并利用TF-IDF方法对每个单词进行加权，文本最终被表示为t∈R^m，其中m为文本空间的维数；

2)对训练样本里的所有图像文档提取SIFT局部特征点，并对这些局部特征点进行K-Means聚类，用聚类中心构建码本以及视觉单词。然后对每张图片，通过欧氏距离最近邻计算该图片的每个局部特征点应该属于码本里的哪一个视觉单词，最后和对文本文档的处理一样，利用词袋模型和TF-IDF方法进行特征表达，图像最终被表示为p∈Rⁿ，其中n为图像空间的维数；

3)对文本检索图像方向而言，对每一个查询文本，构建一个图像的排序列表，其中列表中的图像被标记为查询语义相关或者语义不相关，因此每个文本检索图像的训练样本被表示为三元组其中N为训练样本个数，t_i为检索文本，p_i为图像集合，是图像集合上的排序，y表示整个排序空间；

4)对图像检索文本方向而言，对每一个查询图像，构建一个文本文档的排序列表，其中列表中的文本文档被标记为查询语义相关或者语义不相关，每个图像检索文本的训练样本被表示为三元组M为训练样本个数，p_j为检索图像，t_j是文本文档集合，是文本文档集合上的排序；

5)将两个方向上的查询列表合并起来得到统一的训练样本。

3.根据权利要求1所述的一种基于隐空间学习和双向排序学习的跨媒体排序方法，其特征在于，所述的步骤2)包括：

1)使用结构支持向量机构建一个优化问题，其目标函数是使得映射函数在结构风险和经验风险之间取得折中：

minU,V,ξ1,ξ2λ2||U||F2+λ2||V||F2+1NΣi=1Nξ1,i+1MΣj=N+1N+Mξ2,js.t.∀i∈{1,...,N},∀y∈y:δF(ti,pi,y)≥Δ(yi*,y)-ξ1,i∀j∈{N+1,...,N+M},∀y∈y:δF(pj,tj,y)≥Δ(yj*,y)-ξ2,j.---(1)]]>

其中，是将文本映射到隐空间的映射矩阵，是将图像映射到隐空间的映射矩阵，k是隐空间的维数，ξ_1，i和ξ_2，j是松弛变量。定义的函数F如下：

F(t,p,y)=Σi∈p+Σj∈p-yij(Ut)TV(pi-pj)|p+|·|p-|---(2)]]>

δF(ti,pi,y)=F(ti,pi,yi*)-F(ti,pi,y)---(3)]]>

F(p,t,y)=Σi∈t+Σj∈t-yij(Vp)TU(ti-tj)|t+|·|t-|---(4)]]>

δF(pj,tj,y)=F(pj,tj,yj*)-F(pj,tj,y)---(5)]]>

其中，p⁺和p^-分别表示与查询文本t相关的图像集合和与查询文本t不相关的图像集合，t⁺和t^-分别表示与查询图像p相关的文本集合，与查询图像p不相关的文本集合。y_ij的值根据排序y来决定：如果文档i比文档j的排序靠前，则y_ij=1,否则y_ij=-1。此外，定义损失函数为Δ(y^*，y)=1-MAP(y^*，y)，MAP是Mean Average Precision，一种信息检索里常用的性能测量标准，MAP值越大，排序性能越好，损失函数的值就越小；

2)输入双向的排序样本作为优化问题的训练样本，求解得到参数U和V。

4.根据权利要求1所述的一种基于隐空间学习和双向排序学习的跨媒体排序方法，其特征在于，所述的步骤3)包括：

1)对输入为文本查询样本t的情况下，对所有图像p_i根据以下公式计算其与查询样本的相似度：f(t，p_i)=(Ut)^TVp_i，然后按相似度从大到小对图像进行排序；

2)对输入为图像查询样本p的情况下，对所有文本文档t_i根据以下公式计算其与查询样本的相似度：f(t_i，p)=(Ut_i)^TVp，然后按相似度从大到小对文本文档进行排序。