[发明专利]一种基于继承映射的跨模态迁移哈希检索方法

说明书

本发明针对大规模数据的跨模态检索提出了一种基于继承映射的跨模态迁移哈希检索方法。首先，通过线性跨模态迁移学习来保持原始异构特征之间的关联关系；同时，继承映射与跨模态迁移相互协作，以确保从原始特征空间到哈希空间的相关性继承。进一步地，为了挖掘原始特征的结构近邻关系，本发明也采用了具有线性复杂度的锚图模型。而且，高层语义信息也通过线性回归的方法被加强。最终，一种高效的迭代优化策略被用来解决离散优化问题，这有效地避免了传统解法造成的松弛和量化误差。

技术领域

本发明涉及跨模态检索方法，更具体地说，涉及一种基于继承映射的跨模态迁移哈希检索方法。

背景技术

近年来，大数据背景下的跨模态检索技术越来越受到人们的关注，其检索效率和精度不论是在学术界还是工业界都存在极大的挑战。而哈希技术旨在将高维的原始数据特征映射成低维的二进制码，这不仅能很好地降低计算机的运算和存储开销，也大大提升检索效率。但是，想要用低维的二进制码实现高性能的检索结果仍然是一个非常大的挑战。因此，本发明主要针对图像-文本两种不同模态数据之间的检索提出了一种高效的跨模态哈希检索方法。

由于不同模态数据存在于不同维度的特征空间，因此跨模态检索方法的核心思想就是如何桥接不同模态之间的间隔。近年来，也有许多基于哈希技术的扩模态检索方法被提出，根据有无使用有标记数据大致可分为两类，一类是无监督学习方法，另一类是有监督的学习方法。无监督哈希通常不使用语义标记。例如，CMFH(Collective MatrixFactorization Hashing)方法首先通过协同矩阵分解的方法对所有模态数据学习统一的哈希码矩阵，然后将学到的哈希码矩阵用于学习特别模态的哈希方程；LSSH(LatentSemantic Sparse Hashing)方法运用稀疏编码和矩阵分解的方式来探索图片的显性结构及文本的隐性概念，因此可以在子空间内保持原始特征的相关性。但是，由于高层语义信息的缺失，无监督的方法往往达不到较好的检索效果。

而有监督哈希通常通过探索高层语义信息以求达到更好的检索效果。例如，SCM(Semantic Correlation Maximization)方法将语义标记无缝地整合到哈希码学习的过程中；DCH(Discriminant Cross-modal Hashing)方法将学习到的哈希码当作一种表征，然后和类标记共同学习一个线性的分类器；FDCH(Fast Discrete Cross-modal Hashing)方法提出使用回归的方法将标记回归到相应的哈希码，同时还引入漂移项来调节回归过程从而提高所学哈希码的质量。本发明也主要关注有监督的学习方法，因为有监督的学习有效地利用了标记信息来加强语意保持从而达到更好的检索效果。大多数有监督的学习方法通常包含两种保持原始特征分布的思想。一种是通过构建局部图模型来保持模态内的近邻关系，但是这种方法通常忽略了不同模态之间的相关性；另一种思想是通过语义标记构建亲属矩阵来保持异构数据之间的相关性，但是它丢弃了原始特征固有的分布特性。因此都无法达到令人满意的检索效果。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于继承映射的跨模态迁移哈希检索方法。所述方法提出使用线性跨模态迁移实现异构数据之间信息的相互嵌入，同时起到从原始特征分布的层面关联异构数据的作用。除此之外，该方法强调跨模态迁移的系数矩阵和原始空间到哈希空间的映射矩阵保持一致。这种方式可以使学习到的哈希码直接有效的继承原始特征的分布特性及异构相关性，从而促进检索效果。

本发明采用的技术方案如下：

一种基于继承映射的跨模态迁移哈希检索方法，其特征在于，包括以下步骤：

步骤1：给定数据集n代表训练样本对的总数，表示图片特征，表示文本特征，y_i∈R^c表示语义标记向量，其中d₁表示图片特征维度，d₂表示文本特征维度，c表示数据集类的总数，则为图像特征矩阵、表示文本特征矩阵，Y∈R^c×n表示标记矩阵；