[发明专利]基于协同矩阵分解的离散监督跨媒体哈希检索方法

摘要

本发明涉及一种基于协同矩阵分解的离散监督跨媒体哈希检索方法，包括以下步骤：1）建立跨媒体检索数据库，并将样本对划分为训练集和测试集；2）提取训练集和测试集中所有样本对的特征，并进行去均值；3）分别利用协同矩阵分解和语义嵌入把样本的特征和类别标签投影到低维特征空间和哈希码，并学习一个正交旋转矩阵构建低维特征和哈希码的语义关联，同时为各模态学习哈希函数；5）利用学习的哈希函数生成测试样本的哈希码；6）把训练集中的样本作为待检索样本，把测试集中样本作为查询样本，计算查询样本与待检索样本的汉明距离；7）按汉明距离降序排列，返回前r个异构样本作为检索结果。本发明不仅可实现跨媒体检索，而且训练过程占用资源少、准确率高，具有广阔的应用前景。

主权项

1.一种基于协同矩阵分解的离散跨媒体哈希检索方法，其特征在于，该方法包括以下步骤：步骤S1，收集图像和文本样本并对其进行类别标注，生成跨模态检索数据集，并将所有样本对按一定比例划分为训练集和测试集；步骤S2，提取数据集中所有图像和文本样本的特征，并对其进行去均值；步骤S3，利用训练集中的图像、文本样本的特征及其类别标签构建目标函数，表示所有训练样本的特征，其中，表示所有训练图像样本的特征，其中为图像特征的维度，为图像和文本样本对的数量，表示所有训练文本样本的特征，其中为文本特征的维度；表示样本对的类标签，其中为所有类别的数量，如果第个样本属于第类，则；反之，；具体包括以下步骤：步骤S31，由于异构样本间的语义关联非常复杂，因此首先利用协同矩阵分解，保持样本的模态间相似性学习一个共享子空间，此过程的目标函数定义为：其中表示Frobenius范数，为映射矩阵，表示共享子空间，表示子空间的维度，为图像和文本模态的权重参数，表示正则项的权重参数；步骤S32，通过学习一个潜在语义映射矩阵，构建样本标签与哈希码间的语义关联，此过程的目标函数定义为：其中表示潜在语义矩阵，为构建样本标签与哈希码间语义关联项的权重参数，表示训练样本的哈希码；步骤S33，利用正交旋转矩阵构建低维特征和训练样本哈希码的语义关联，此过程的目标函数定义为：其中表示正交旋转矩阵，表示单位矩阵，为正交旋转矩阵学习的权重参数；步骤S34，利用线性映射作为哈希函数，此过程的目标函数定义为：其中，表示图像和文本模态的哈希函数，表示图像和文本模态哈希函数学习的权重参数；步骤S35，将共享子空间学习、构建标签与哈希码间的语义关联、正交旋转矩阵学习和哈希函数学习的目标函数相加即为本方法的目标函数，定义如下：其中表示正则项，；步骤S4，由于目标函数不仅含有八个未知变量，而且哈希码是离散的，因此目标函数的求解是NP‑HARD问题，但当固定七个变量求解某一变量时，问题变为凸优化问题，因此可利用迭代优化算法进行求解，求解过程包括以下八个步骤：步骤S41，固定其余变量，求解：丢弃常数项，问题转换为：对求偏导，并使它等于0，可得因此：步骤S42，固定其余变量，求解：与求解类似，可得：步骤S43，固定其他变量，求解丢弃常数项，并对求偏导，并使它等于0可得：因此步骤S44，固定其他变量，求解：与求解类似，可得：步骤S45，固定其他变量，求解：这个子问题是典型的正交普鲁克问题，可以由奇异值分解（Singular Value Decomposition，SVD）方法直接求解；具体而言，首先对进行奇异值分解，可表示为，则；步骤S46，固定其他变量，求解：去除常数项，问题转换为：上式可转换为：因为和为常数，因此存在一个离散闭合解：步骤S47，固定其他变量，求解：与求解类似，可得：步骤S48，固定其他变量，求解：与求解类似，可得：步骤S49，重复执行步骤S41‑步骤S49至算法收敛或迭代次数达到最大值；步骤S5，把训练集和测试集分别作为待检索样本集和查询集，利用相应模态的哈希函数直接得到查询样本的哈希码；步骤 S6，计算查询样本与待检索样本集中异构样本的汉明距离；步骤 S7，按汉明距离升序排序，并返回前r个样本作为检索结果。