[发明专利]基于类标传递的半监督跨模态哈希检索方法

说明书

本发明公开了一种基于类标传递的半监督跨模态哈希检索方法，主要解决现有的训练数据没有足够的类标信息以及现有的半监督多模态方法不能有效利用类标信息的问题，其实现方案是：获取测试数据和训练数据各自对应的特征矩阵；通过类标传递分别获取无监督训练图片集和无监督训练文本集的类标矩阵；构造监督哈希的目标函数，迭代求解分别得到更新后的图片和文本哈希码矩阵以及投影矩阵，据此求得测试图片集和测试文本集的哈希码；计算测试数据哈希码与训练数据哈希码之间的汉明距离并将其从小到大进行排序，取前s个对应的训练数据作为最终查询结果。本发明能有效利用多模态半监督训练样本中的监督信息，提高检索精度，可应用于信息交叉检索和数据存储。

技术领域

本发明属于信息检索和模式识别技术领域，特别涉及一种半监督跨模态哈希检索方法，可应用于信息交叉检索和数据存储。

背景技术

随着近年来互联网、社交媒体等信息技术的飞速发展，各行各业积累的数据都呈现出爆炸式增长趋势。而且现今的数据不仅仅是数量大，同时还伴随着数据的多源、多类等特性，因此传统的数据存储和管理方式不能满足当前的需求，寻找新的有效利用大数据的技术已经迫在眉睫。哈希学习通过机器学习机制将数据映射成二进制串的形式，能显著减少数据的存储和通信开销，从而有效提高学习系统的效率。现有的哈希方法研究方向大致划分为三类：单模态哈希方法、多视图哈希方法和跨模态哈希方法。跨模态哈希方法可以有效的进行大规模相似性搜索。

跨模态哈希可分为监督跨模态哈希、无监督跨模态哈希、半监督跨模态哈希。监督跨模态哈希方法主要利用训练数据的类标信息来提高哈希方法的检索精度，但是监督跨模态哈希方法要求所有的训练数据都要有类标，在实际应用中大多数是无标签的数据并且对海量的数据进行标注几乎是不可能的，因此无法进行基于类标的约束处理。无监督哈希方法主要通过挖掘和保持多模态数据的潜在相关性来获得哈希编码，但是由于没有任何的类标信息，算法的精度并不是很高。现实生活中，大多数数据都是无类标的，只有少部分数据有类标信息，如何有效利用这部分类标信息来提高检索精度，即半监督哈希，是我们现阶段急需解决的问题。

类标传递是通过数据之间的相关性将训练数据中监督数据的类标传递给无监督数据，跨模态检索中的类标传递包括模态间的类标传递和模态内部的类标传递，通过类标传递得到所有训练数据的类标之后，借助于监督跨模态哈希方法的优势来提高检索精度。

综上，现阶段存在的监督哈希方法不适用于大规模数据，无监督哈希方法没有类标信息，导致检索精度不高。

发明内容

本发明的目的在于针对上述已有技术的不足，提供一种基于类标传递的半监督跨模态哈希检索方法，以有效利用半监督训练数据中的部分类标信息，通过类标传递并结合监督哈希方法的优势来提高检索精度。

实现本发明的思路是，在训练模式下，通过类标传递的方式得到无监督训练数据的类标，并利用所有训练数据的类标和数据特征训练得到投影矩阵和哈希编码；在测试模式下，利用训练模式下获得的投影矩阵对测试数据进行投影，通过量化得到测试数据的哈希编码，并在训练数据中查找相似的数据，输出查找结果。其实现步骤包括如下：

(1)获取测试数据和训练数据及其各自对应的特征矩阵：

从图片数据库中获取图片和文本的多模数据集，将数据集中的10％的数据作为测试数据，剩下的数据作为训练数据；

测试数据包括测试图片集T¹和测试文本集T²；

训练数据包括训练图片集X¹和训练文本集X²，将X¹中的5％的数据分为监督训练图片集剩下的分为无监督训练图片集将X²中的5％的数据分为监督训练文本集剩下的分为无监督训练文本集监督训练图片集和监督训练文本集拥有共同的类标矩阵Y_c；

(2)通过类标传递获取无监督训练数据图片集的类标矩阵和无监督训练文本集的类标矩阵