[发明专利]多标签核化典型相关分析检索方法

权利要求书

1.一种多标签核化典型相关分析检索方法，其特征在于，包括以下步骤：

(S1)选择文本和视觉图像，构建文本、视觉图像和标签的配对数据，并选择配对数据的样本；

配对数据的样本表示为{(t₁,p₁,z₁),...,(t_i,p_i,z_i),...,(t_N,p_N,z_N)}，其中z_i是配对数据的第i个样本的标签向量，T_w＝[t₁,t₂,...,t_N]∈R^dt×N，T_w是文本样本的矩阵表示，dt是文本样本的维度，P＝[p₁,p₂,...,p_N]∈R^dp×N，P是视觉图像样本的矩阵表示，dp表示视觉图像样本的维度；Z＝[z₁,z₂,...,z_N]∈R^C×N，其中Z表示标签矩阵，C为标签的维度，N为配对数据的样本数；

(S2)计算标签的语义相似性矩阵；设f(g)为计算任意两个标签向量之间相似性的函数，则语义相似性矩阵S：

(S3)将语义相似性矩阵应用于核化典型相关分析来求取多模态共享子空间；

为获取学习共同的多模态共享子空间，将ml-KCCA公式化为：

其中，ρ为相关系数，K_t和K_p分别表示N对样本的N×N核矩阵，η用于控制语义相似性矩阵的影响系数，α,β表示投影向量；

根据和将求解α,β过程转化为求解特征值问题如下：

B^-1Aw＝λw (4)

其中，λ为特征值，w＝[α β]^T，根据值最大的D个特征值，求出对应的一系列的向量(α¹,β¹),...,(α^D,β^D)；

根据(α¹,β¹),...,(α^D,β^D)，将新的文本输入t_x投影到α指定的单个文本输入上：

其中α_i表示向量α的第i个元素，t_i代表N个样本数据中的第i个样本，φ_t表示数据空间到特征空间的映射函数，k_t表示特征空间的核函数；

(S4)分别求取视觉图像与文本在多模态共享子空间的投影表示；

新的文本t_x到D维公共子空间的最终投影M为：

新视觉图像p_x到D维公共子空间的最终投影Q为：

(S5)进行检索，获取跨模态子空间的检索结果，具体为：进行图像检索文本时，则通过将新视觉图像通过Q映射到子空间，进而进行相似性检索；进行文本检索视觉图像时，则将文本通过M映射到子空间，进而进行相似性检索。

2.如权利要求1所述的一种多标签核化典型相关分析检索方法，其特征在于，所述计算相似性的函数f(g)为基于点乘的相似性度量函数：

其中<·>表示点乘运算，||g||表示求模运算，i＝1,2,L,N，j＝1,2,L,N，z_i是配对数据的第i个样本的标签向量，z_j是配对数据的第j个样本的标签向量。

3.如权利要求1所述的一种多标签核化典型相关分析检索方法，其特征在于，所述计算相似性的函数f(g)为基于指数平方的相似性度量函数：

其中，σ表示常数因子，i＝1,2,L,N，j＝1,2,L,N，||·||₂表示2-范数，z_i是配对数据的第i个样本的标签向量，z_j是配对数据的第j个样本的标签向量。