[发明专利]基于语义约束矩阵分解哈希的跨模态检索方法及其系统

说明书

本发明公开了一种基于语义约束矩阵分解哈希的跨模态检索方法，包括输入不同模态的原始特征矩阵，根据建立的个体矩阵模型分解每种模态获得潜在语义矩阵，再利用语义相似矩阵约束两个模态潜在语义矩阵，以及根据潜在语义矩阵和正交旋转矩阵生成哈希码，最后利用潜在语音矩阵从所述哈希码中获取类标签。本发明方法通过使用语义相似矩阵来约束每个模态的模态特定表示，检索效果优于现有的矩阵分解方法，同时在三个数据集上的大量实验表明，本发明具有更好的检索性能。

技术领域

本发明属于哈希码检索领域，具体涉及一种基于语义约束矩阵分解哈希的跨模态检索方法及其系统。

背景技术

随着文本、图像、音频、视频等多媒体数据的大量增长，跨模态检索引起了广泛的关注。以文本和图像模态为例，跨模态检索的任务是给定一个查询的模态，然后在其他不同模态下查询并返回其相似结果。它在计算机视觉、文本挖掘和信息检索中得到了广泛的研究和应用，如何有效地进行跨模态检索已成为研究的热点。

近年来，基于哈希的跨模态检索方法因其存储成本低、查询速度快等优点得到了广泛的研究。现有的跨模态哈希方法主要是将多模态数据投影到一个公共语义空间中，并利用统一的哈希码来表示异构数据点。在是否利用标签信息方面，我们可以将现有的跨模态哈希方法大致分为三类，即无监督方法、半监督方法和监督方法。一般来说，虽然有些标签可能存在损坏或不准确，但标签信息对于学习更多的有判别性特征是有用的。因此，监督的跨模态哈希方法通常可以获得更好的检索性能。

矩阵分解有着悠久的历史，奇异值分解、LU分解、QR分解和特征分解等许多著名的技术在计算机视觉中得到了广泛的应用。近年来，矩阵分解在跨模态哈希中也发挥了重要作用，并且从图像/文本中挖掘语义概念或潜在主题方面取得了显著的成就。现有的一些方法简单地建立了一个公共的潜在语义空间。例如丁贵广等人首先将协同矩阵分解引入到跨模态检索中，提出了协同矩阵分解哈希算法(CMFH)，它利用协同矩阵分解来学习不同模态下的统一哈希码；姚涛等人提出了一种高效的离散监督哈希算法(EDSH)，该算法将异构特征的协同矩阵分解和类标签的语义嵌入无缝地集成到哈希码中；高等人提出了一种基于超图的离散矩阵分解哈希算法(HDMFH)，它结合超图学习来捕捉每种模态下样本之间的高阶关系；王等人提出了一种标签一致矩阵分解哈希算法(LCMFH)，它直接使用语义标签来指导哈希学习过程。而另一些方法则利用相关矩阵或正交旋转变换去对齐潜在语义空间。例如王等人提出了一种联合和个别矩阵分解散列(JIMFH)，它联合学习多模态数据的统一哈希码和单个哈希码的最佳组合；熊等人提出了一种基于对齐的特定模态矩阵分解哈希算法(MsMFH)，它学习每个模态的特定于模态的语义表示，然后通过相关信息对表示进行对齐。然而，公共的潜在语义表示方法会失去个体和有用的特定模态特征，不能充分利用每个模态的内在信息，相关矩阵或正交旋转变换也不能很好地约束潜在语义表示。

发明内容

本发明的目的是在于提供一种基于语义约束矩阵分解哈希的跨模态检索方法，该方法利用语义相似矩阵来很好地约束潜在语义表示，能够充分利用每个模态的内在信息和有用的特定模态信息，使得图像和文本检索更精确，可应用于监督跨模态检索中。

为了实现上述目标，本发明采用如下技术方案：

一种基于语义约束矩阵分解哈希的跨模态检索方法，包括输入不同模态的原始特征矩阵，先根据建立的个体矩阵模型分解每种模态获得潜在语义矩阵，再利用语义相似矩阵约束两个模态潜在语义矩阵，以及根据潜在语义矩阵和正交旋转矩阵生成哈希码，最后利用潜在语音矩阵从所述哈希码中获取类标签。

为了保留每种模态的特定属性和多模态数据的共享属性，本发明同时分别分解两种模态，个体矩阵分解(IMF)的目标函数如下：

其中，i＝1,2，为映射矩阵，为潜在语义矩阵，Xⁱ为不同模态的原始特征矩阵，α_i和μ是正则化参数。