[发明专利]一种基于特征选择和虚拟数据生成的半监督跨媒体检索方法

权利要求书

1.一种基于特征选择和虚拟数据生成的半监督跨媒体检索方法，包括以下步骤：

步骤1：给定数据集n代表数据对的总数，x_i代表图片特征，t_i代表文本特征，那么，图片和文本特征矩阵可以分别表示成：X_G＝[x₁,x₂,...x_n-1,x_n]和T_G＝[t₁,t₂,t₃,...t_n-1,t_n]；

步骤2：生成伪随机虚拟数据点，对原有数据集进行扩充，具体方法为：计算X_G和T_G每一类的类中心，对于每一类数据，计算该类数据每一维度的均值，得到的各维度均值构成的新向量作为该类的类中心；然后，以每一维度的均值作为中心，在其上下随机生成n'个数值，将所有维度上的随机值组合在一起生成n'个伪随机虚拟数据将所述伪随机虚拟数据点加入原有数据集得到扩充后的数据集G_all＝{G,G′}，扩充后的图片和文本特征矩阵分别表示成：X＝[x₁,...,x_n,x′₁,x'₂,...x'_n]和T＝[t₁,...,t_n,t′₁,t'₂,...,t'_n]；

步骤3：构建目标函数：

定义目标函数：

其中，U,V代表本方法要学习的一对投影矩阵，C(U,V)是相关性分析项，使得多模态的数据可以在潜在的语义空间内保持成对的近邻关系；L(U,V)是从图像或文本模态特征空间到语义空间的线性回归项，用于保持具有相同语义的不同模态数据的近邻关系；N(U,V)是正则项，用于特征的选择；

根据公式(1)，分别得到图像检文本I2T和文本检图像T2I检索任务的目标函数，如下：

(1)I2T的目标函数为：

其中，U₁,V₁是I2T任务中要学习得到的投影矩阵，分别对应于公式(1)中的U,V，β是平衡系数且0≤β≤1，Y是语义矩阵；

(2)T2I的目标函数为：

其中，U₂,V₂是T2I任务中要学习得到的投影矩阵，分别对应于公式(1)中的U,V；

步骤4：通过迭代求解方法，得到最优的投影矩阵：

由于公式(2)和(3)是非凸的，故采用控制变量的方法求解，即分别对U和V求偏导，并令其等于零，可得投影矩阵U和V的值；然后经过不断的迭代，直至收敛，求得投影矩阵U和V的最优值。

2.如权利要求1所述的基于特征选择和虚拟数据生成的半监督跨媒体检索方法，其特征在于：步骤3中，N(U,V)＝λ₁||U||_2,1+λ₂||V||_2,1，其中λ₁，λ₂用来平衡两个正则项，且都为正数，此约束项用于在学习投影矩阵的时候选择更加具有区分性和丰富信息的特征。