[发明专利]基于半监督的跨媒体特征学习检索方法

权利要求书

1.一种基于半监督的跨媒体特征学习检索方法，包括如下步骤：

步骤一：建立多媒体数据库，

步骤二：求取不同媒体类型的投影矩阵；

(2.1)定义目标函数：

投影矩阵

X_ap和X_aq表示来自第p个媒体和第q个媒体的具有相同标签的两组媒体对象，

X_p表示来自第p个媒体的媒体对象，

H_p和H_q表示X_p和X_q的投影矩阵，

Y_p表示X_p对应的标签信息，

F表示Frobenius范数，

(2.2)目标函数的优化：

让表示式(5)中的目标函数，对进行微分，并设置其值为零，可以得到如下的等式：

其中，R_p＝Diag(r_p)中的r_p表示l_2,1范数的一个辅助向量，它的第i个成员定义为

式(6)可以重写为:

通过求解上述线性系统问题，得到一种最小化目标函数(5)的优化方法，这个方法的过程是先初始化H_p为单位矩阵，然后在每一次迭代中，在已给定的条件下计算在优化的过程中，迭代一直持续直到收敛，

(2.3)将多媒体数据的原始特征投影到公共空间，

步骤三：进行跨媒体检索；

(3.1)提取用户提交的媒体数据的特征：根据用户提交的数据的媒体类型使用提前训练的模型来提取出该数据的特征，

(3.2)将该媒体数据的特征向量投影到共同空间中，且投影后的特征向量为

(3.3)计算投影后的特征向量与共同空间中的其他向量之间的相似度：跨媒体相似度被定义为边际概率，定义如下：

其中，y_i(y_j)代表的标签，p(y_i＝l|f_i^p)代表f_i^p属于类别l的概率，p(y_i＝l|f_i^p)定义如下：

其中，N_k(f_i^p)代表在训练集中f_i^p的K近邻，y代表f的标签，σ(z)＝(1+exp(-z))^-1是Sigmoid函数，

投影后的特征向量与共同空间中的其他向量之间的相似度计算完成后，用排序函数按相似度值降序排序，并对该结果进行保存，

(3.4)返回相似度最大的前k个媒体数据。

2.如权利要求1所述的基于半监督的跨媒体特征学习检索方法，其特征在于：

步骤一中包括：

步骤1.1收集多媒体原始数据，

步骤1.2提取多媒体数据的特征。

3.如权利要求1所述的基于半监督的跨媒体特征学习检索方法，其特征在于：

得到目标函数的过程如下：

定义图的权重矩阵：

其中，f_i^p,p＝1,2,...,S表示在公共空间内的投影对象，是f_i^p和的欧几里德距离，N_k(f_i^p)表示f_i^p的k个最近邻的集合，

为了表示投影特征向量f的平滑度，使用平滑函数Ω(H₁,...,H_S)，平滑函数惩罚两个对象间的投影函数的大的变化，基于多模态图，定义平滑函数为：

其中，是所有模态的总样本的数目，代表公共空间中所有模态的投影数据，L＝D-W是拉普拉斯矩阵，基于上述定义，方程(3)可以转化为：

综上，得到目标函数(5)如下: