[发明专利]基于判别性关联最大化哈希的跨模态检索方法

权利要求书

1.一种基于判别性关联最大化哈希的跨模态检索方法，其特征在于，包括以下步骤：

步骤1：获取训练数据集，其中每个样本都包括成对的图像和文本两个模态数据；

步骤2：对训练数据集进行多模态提取，得到训练多模态数据集O^train；

步骤3：对于训练多模态数据集O^train，构造该数据集上的基于判别性关联最大化哈希的目标函数；

步骤4：求解所述目标函数，得到图像、文本的投影到公用的海明空间的投影矩阵W₁和W₂、图像文本对的哈希码B；

步骤5：获取测试数据集，并对其进行多模态提取，得到测试多模态数据集O^test；

步骤6：对于测试多模态数据集O^test，根据步骤4求得的投影矩阵W₁和W₂，将测试数据集中每个样本的图像或文本投影到所述公用的海明空间，并通过哈希函数量化为哈希码；

步骤7：进行跨模态检索，基于哈希码，在所述训练数据集中检索与测试集中待检索样本相关的另一模态的对象；

所述步骤3中目标函数为：

s.t.B∈{-1,1}^L×N,W₁W₁^T＝I_k,

其中，分别是图像和文本的数据特征矩阵，是标记矩阵；λ，μ₁，μ₂，β，α是平衡参数，γ是正则化参数，S_w为类内相似度矩阵，S_b为类间相似度矩阵，Q为分类器矩阵，N是样本个数，c表示类别数。

2.如权利要求1所述的一种基于判别性关联最大化哈希的跨模态检索方法，其特征在于，所述步骤3包括：

步骤3-1：设训练多模态数据子集O^train每个数据样本为其中，是图像的特征向量，是文本的特征向量，y_i∈{0,1}^c是类别标记，N是样本个数；将两个模态的数据从原始的异构空间投影到公用的海明空间中，并使一个样本中成对的图像和文本之间的关联最大化：

s.t.W₁W₁^T＝I_k,

步骤3-2：对文本模态数据进行线性判别分析处理，并使其特性传递到图像模态数据：

步骤3-3：将两个模态数据特征转换为哈希码，将通过哈希函数得到哈希码的量化损失最小化：

s.t.B∈{-1,1}^L,W₁W₁^T＝I_k,

步骤3-4：加入类别标记作为监督信息，对哈希码进行分类：

s.t.B∈{-1,1}^L

步骤3-5：增加正则化项防止过拟合，其定义为：

步骤3-6：将步骤3-1至3-5整合，得到目标函数。

3.如权利要求2所述的一种基于判别性关联最大化哈希的跨模态检索方法，其特征在于，所述步骤4目标函数求解方法为：

步骤4-1：固定目标函数中的其他项，求解图像模态的投影矩阵W₁；

步骤4-2：固定目标函数中的其他项，求解文本模态的投影矩阵W₂；

步骤4-3：固定目标函数中的其他项，求解联合哈希码B；

步骤4-4：固定目标函数中的其他项，求解分类器矩阵Q。

4.如权利要求1所述的一种基于判别性关联最大化哈希的跨模态检索方法，其特征在于，所述检索方法还包括：根据多模态数据集自带的类别标记评判检索正确率。