[发明专利]利用标签层次信息的多媒体数据跨模态检索方法及系统

说明书

本发明公开了利用标签层次信息的多媒体数据跨模态检索方法及系统，包括：获取待检索的第一模态多媒体数据；对待检索的第一模态多媒体数据进行特征提取，得到第一哈希码；将第一哈希码与预存储的第二模态的所有多媒体数据对应的已知哈希码进行距离计算；选择距离最近的若干个哈希码对应的第二模态的多媒体数据，作为检索结果输出。

技术领域

本申请涉及跨媒体检索技术领域，特别是涉及利用标签层次信息的多媒体数据跨模态检索方法及系统。

背景技术

本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有技术。

随着多媒体数据的爆发式增长，数据通常被以多种模态来表示，例如图像和文本等。面对海量数据，通常需要进行快速的相似性比较，这是管理和使用数据的基础操作。因此，快速跨模态检索的需求越来越大。为了满足这一需求，使用一种模态的数据来检索另一种模态内相似样本的跨模态哈希方法相继被提出。

跨模态哈希学习属于哈希学习，且具有哈希学习的优点。哈希学习方法是当前存储或检索大规模数据最流行的方法之一。哈希学习方法的主要思想是设计一种通过学习得到的哈希函数，它可以将数据从原始的高维特征空间中的数据表示变换成低维汉明空间中的二进制编码表示。通过这种变换，可以达到降维的目的，可以有效缩减空间消耗；在达到维数降低目的的同时，哈希函数会保持数据之间的相似性。此外，将数据表示成二进制编码的形式，还可以获得快速检索的优势，因为计算机在处理二进制编码间的两两比较有很高的效率，所以可以使检索的速度变得很快。

现有的跨模态哈希学习方法可以有多种划分方法。比如，可以依据是否能够利用数据的监督信息而分为无监督跨模态哈希和有监督跨模态哈希。相较于无监督跨模态哈希方法，监督的跨模态哈希模型可以利用语义信息，因此其学到的哈希函数可以生成质量更高的数据哈希码的表示。比如，根据方法是否能够使用深度学习技术来提取特征及学习哈希函数，跨模态哈希方法又可以分为深度跨模态哈希和非深度跨模态哈希。非深度哈希方法使用手工设计的特征来进行哈希函数和哈希码表示的学习，其将特征提取阶段和哈希学习阶段分离开来，这样的设计会导致次优的学习结果。而深度跨模态哈希方法则将特征提取和哈希学习集成在一个框架内，这样使得这两个阶段可以相互促进，进而提高学习的质量。

在很多真实数据中，如CIFAR-100和Imagenet数据集等，数据对应的语义标签通常携带层次结构。例如，一个简单的包含三层标签的例子：“摩托车”和“卡车”都属于父类“车”，而“船”和“车”都属于父类“交通工具”。这些层次结构包含许多有用的信息，如果在学习过程中充分挖掘其中的信息，显然会提高学习的效果，进而达到提高检索精度的作用。但是，当前大部分现有技术都忽视了标签的层次信息。发明人发现，尽管有极少数方法在学习过程中尝试使用这种层次信息，这些跨模态哈希方法存在以下不足：其为标签层次结构的每一层生成分层的哈希码，并没有考虑跨层标签间的关联信息。

发明内容

为了解决现有技术的不足，本申请提供了利用标签层次信息的多媒体数据跨模态检索方法及系统；

第一方面，本申请提供了利用标签层次信息的多媒体数据跨模态检索方法；

利用标签层次信息的多媒体数据跨模态检索方法，包括：

获取待检索的第一模态多媒体数据；

对待检索的第一模态多媒体数据进行特征提取，得到第一哈希码；

将第一哈希码与预存储的第二模态的所有多媒体数据对应的已知哈希码进行距离计算；选择距离最近的若干个哈希码对应的第二模态的多媒体数据，作为检索结果输出。

第二方面，本申请提供了利用标签层次信息的多媒体数据跨模态检索系统；

利用标签层次信息的多媒体数据跨模态检索系统，包括：

获取模块，其被配置为：获取待检索的第一模态多媒体数据；