[发明专利]基于在线学习的潜在语义跨媒体哈希检索方法

说明书

本发明公开了一种基于在线学习的潜在语义跨媒体哈希方法实现图像和文本模态的跨媒体检索，该方法包括以下步骤：建立图像、文本对数据集，提取数据集中数据的特征并去均值，按照一定比例划分训练集和测试集；将离散标签映射到连续的潜在语义空间，并利用保持数据间相似性构建目标函数；利用基于在线学习的迭代优化方案求解目标函数，当有新数据产生时，只利用新数据更新哈希函数，提升了训练过程的效率；利用哈希函数计算测试集中图像和文本数据的哈希码，将测试集中某一模态的数据作为查询集，另一模态的数据作为目标数据集，计算查询数据集中数据与目标数据集中所有数据的汉明距离，并按升序排序，返回排序靠前的异构数据作为跨媒体检索结果。

技术领域

本发明涉及多媒体检索和模式识别领域，尤其是一种基于在线学习的潜在语义跨媒体哈希检索方法。

背景技术

近年来，由于哈希方法在大规模数据集上的高效性和有效性，引起了研究者的广泛关注；哈希方法的目标是通过保持数据在原始特征空间或标签的结相似性，将数据映射到汉明空间；数据间的相似性可以通过XOR运算高效计算，在保证检索性能的前提下大大加快检索速度；然而，大部分哈希方法只是针对单一模态的应用，随着互联网技术和数字设备的快速发展，网络上多媒体数据越来越多；不同模态的数据可以表示相同语义数据，这限制了单模哈希方法的应用；对于用户而言，用户虽然输入的是单一模态数据，但期望返回各种模态的相似数据；然而，异构数据间的相似性是不能直接度量的，如何度量异构数据的相似度成为一个挑战，跨媒体哈希方法将异构数据映射到一个共享汉明空间，在此空间异构数据的相似度可以高效的计算。

最近，研究者提出了多种跨媒体哈希方法，并取得了令人满意的成果；已有成果证明，利用数据的监督信息（例如，类别标签）可以生成基于高层语义保持的哈希码来提高检索性能；但离散标签不能准确地度量数据间的相似度，会导致哈希函数区分能力下降；此外，尽管跨媒体哈希的研究取得了一些进展，但大多数已有方法是基于批量数据的；这类方法需要所有的训练数据在学习哈希函数之前都是可用的，但在实际应用中，网络上的多媒体数据会随时间的推移不断产生，例如每天都有数十亿图像上传到互联网；当新数据产生后，这些方法须利用所有积累的训练数据重新训练哈希函数；这使哈希方法失去了其高效性，尤其是当新数据频繁产生时；另外，随着新数据的不断产生，训练数据集变得非常大；一方面，训练数据占用内存太高，导致无法将所有数据一次性加载到内存中；另一方面，即使内存足够用，通常训练时间也是难以接受的；为了解决以上问题，本发明提出一种基于在线学习的跨媒哈希体检索方法，该方法利用离散标签学习一个连续的潜在语义空间，以更准确地度量数据间的相似度，使返回的检索结果更准确；而且该方法有效地实现了当有新数据产生时，只利用新数据更新训练哈希函数，使哈希函数的训练更高效和减少内存开销。

发明内容

本发明的目的是提供一种基于在线学习的跨媒哈希体检索方法，其特征在于，该方法包括以下步骤。

步骤1：从网络上搜集图像、文本数据对，构建跨模态检索数据库，提取数据库中图像和文本数据的特征并去均值，将数据集分为训练集和测试集。

步骤2：将数据的离散标签映射到连续的潜在语义空间，并保持基于此空间的数据间相似性构建目标函数。

步骤3：利用基于在线学习的迭代优化算法求解目标函数，使得当有新数据产生时，只利用新数据更新哈希函数。

步骤4：根据测试集中数据的模态，利用相应模态哈希函数将数据映射到汉明空间。

步骤5：将测试集中某一模态（例如：图像）的数据作为查询集，另一模态（例如：文本）的数据作为目标数据集。

步骤6：计算查询集中一个数据与目标数据集中所有数据的汉明距离，并按升序排序，返回前 个数据作为跨媒体检索结果。

根据权利要求1所述的基于在线学习的监督跨媒体哈希检索方法，其特征在于，所述步骤1包括以下步骤。