[发明专利]一种基于层次结构的跨模态可变长度哈希检索方法

说明书

本发明请求保护一种基于层次结构的跨模态可变长度哈希检索方法，包括：通过使用哈希学习方法来进行跨模态数据间的检索，提出了随不同模态数据长度变化而变化的可变长度哈希算法，来减少内存占用，此次为变长哈希在跨模态领域中的首次应用；引入层次结构模型，此模型通过构建数据间的层次结构，根据相似度选择代表数据图文对来处理训练数据，可以显著减少后续跨模态变长哈希检索算法的训练时间；同时，有效提高了跨模态检索算法的准确性。本发明能够有效运用于自然图像文本对之间的跨模态检索。

技术领域

本发明属于多模态数据检索方法，结合跨模态检索，哈希学习，流形层次结构及代数多重网格思想等，进行了跨模态哈希检索算法的相关改进，并阐述了进一步的研究工作。

背景技术

在大数据时代来临之前，我们通常使用标签来检索各种信息。但是，由于近年来大规模数据的爆炸性增长，跨模态检索方法应运而生，我们可以使用跨模态检索方法灵活地查询任何模态的媒体数据。尽管现有的基于统一子空间学习的跨模态哈希算法取得了一些进展，但仍存在计算量大，存储成本高以及大规模多模态数据检索精度不足的问题。在此基础上，基于哈希编码的跨模态检索方式因其高效且对时间和空间的有效节省而在机器学习和信息检索中无处不在。哈希学习通过将原始的高维媒体信息映射到低维空间来生成低维紧凑的哈希编码，以便快速有效地进行检索。但是，大多数基于哈希的模型都是将多模态数据映射到固定长度的哈希码，导致无法更好地表示多模态数据。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种可变长度的跨模态哈希检索算法，同时结合了代数多重网格的层次结构，增加了数据检索准确性的基于层次结构的跨模态可变长度哈希检索方法。本发明的技术方案如下：

一种基于层次结构的跨模态可变长度哈希检索方法，其包括以下步骤：

步骤1、对多模态数据集构建近邻图，其中数据集中的图像数据与文本数据一一对应，为了简化表达，下文中我们使用图文对来表示多模态数据集中的一对图文数据。分别提取图像与文本的不同特征，通过结合图像特征和文本特征来构建图文对训练集与图文对数据库之间的相似度矩阵；

步骤2、通过相似度矩阵来选取具有代表性的图文对构建自底向上的图文对层次结构，其中选取的图文对强连接于未被选取的图文对，每一层中选择出的图文对作为下一层的初始图文对，再次进行下一层图文对的选取，直到选出的代表点足够少并且能够代表整体的数据集，此时选择出的顶层图文对分别代表各个不同局部区域的相似图文对；

步骤3、构建顶层代表图文对之间的相似度矩阵，在单模态监督离散哈希检索方法的基础上，假设图像数据和文本数据存在共同的潜在抽象语义空间，在此空间内可以直接进行查询和检索。将图像数据和文本数据的哈希编码分别投影到潜在的抽象语义空间，并根据内积计算出图像和文本数据间的相似度矩阵；

步骤4、将图像数据与文本数据分别投影到各自最优长度的哈希编码空间，通过迭代优化求解出相应的投影矩阵，相似度关联矩阵，以及各模态数据最优长度的紧凑哈希编码；

步骤5、使用相似度传递矩阵自顶向下插值返回到底层完整数据，得到待查询数据的哈希编码与数据库中所有数据哈希编码的相似性排序；

步骤6、根据相似性排序来得出与待查询数据相似的所需数据返回给用户并检测其精确度。

进一步的，所述步骤1中，对图像和文本成对数据建立近邻图，构建图文对训练集与图文对数据库之间的相似度矩阵，具体包括：

设为图像数据集，为文本数据集，d₁和d₂分别为图像和文本数据的维度，n为图像和文本数据对的样本个数,R为全体实数集；

对数据库中的图文对建立k近邻图G^[0](V^[0],W^[0])，其中V^[0]表示数据库中的所有图文对，表示每对图文之间的相似度矩阵。