[发明专利]基于判别性关联最大化哈希的跨模态检索方法有效
申请号: | 201710581083.1 | 申请日: | 2017-07-17 |
公开(公告)号: | CN107402993B | 公开(公告)日: | 2018-09-11 |
发明(设计)人: | 张化祥;卢旭;万文博;刘丽;郭培莲;任玉伟;孙建德;王强 | 申请(专利权)人: | 山东师范大学 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06K9/62 |
代理公司: | 济南圣达知识产权代理有限公司 37221 | 代理人: | 张勇 |
地址: | 250014 *** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 判别 关联 最大化 跨模态 检索 方法 | ||
本发明提出了一种基于判别性关联最大化哈希的跨模态检索方法,包括:对训练数据集进行多模态提取,得到训练多模态数据集;对于训练多模态数据集,构造该数据集上的基于判别性关联最大化哈希的目标函数;求解所述目标函数,得到图像、文本的投影到公用的海明空间的投影矩阵、图像文本对的联合哈希码;对于测试数据集,投影到所述公用的海明空间,并通过哈希函数量化为训练集样本的哈希码;基于哈希码进行跨模态检索。本发明提高了跨媒体检索的效率和准确度。
技术领域
本发明涉及数据检索领域,具体涉及一种基于判别性关联最大化哈希的跨模态检索方法。
背景技术
随着科学技术的发展,互联网中涌入了大量的多模态数据。为了从互联网中检索到有用的信息,兴起了一系列信息检索技术。传统信息检索技术基于单模态,即输入的查询数据和检索得到的结果是同模态。这使得信息检索非常具有局限性,因此我们希望将单模态的信息检索扩展到跨模态的信息检索,即给定一张图片,检索到与该图片相关的文字描述,反之同理。
因为不同模态的数据具有不同的特性,因此几乎不可能直接度量二者的相似性,这是跨模态方法的主要挑战。为了解决这一问题,最常用的方法就是子空间学习法。典型相关分析(CCA)是一种通用的无监督子空间学习法,它将不同模态的数据投影到同一空间,同时将两个模态之间的关系最大化。CCA方法旨在将两个不同模态的数据之间的关系最大化,而偏最小二乘(PLS)是从协方差的角度解决跨媒体检索的问题。广义的多模态分析(GMA)使用了类别标记作为监督信息,它是CCA方法在有监督领域的扩展。
上面提到的跨媒体检索方法在处理大规模数据时往往需要消耗大量的时间和存储空间。为了解决这一问题,哈希方法应运而生。在哈希方法中,用二进制的哈希码来表示数据,在度量不同数据之间的相似性时,只需要在海明空间中对不同数据的哈希码进行基于位数的异或运算。哈希方法有效减少了运算复杂性,使用更少的存储空间。基于哈希的跨模态方法通常将不同模态的数据投影到一个通用的海明空间,在这个空间中得到不同模态数据的哈希码,从而可以直接进行不同模态数据之间的相似度度量。基于哈希的跨模态检索方法已经得到了有效应用,基于哈希的共同矩阵分解(CMFH)为多模态数据学习到一个共用的哈希码,并利用它在通用语义空间中进行相似度度量;潜在语义稀疏哈希(LSSH)分别利用稀疏编码和矩阵分解得到两个模态数据的高层语义信息,然后利用哈希方法进行跨媒体检索。
虽然已有多种基于哈希的跨媒体检索方法,但现存的方法没有考虑到数据特征的判别性分布。数据特征的判别性分布(同类的数据特征尽可能接近,不同类的数据特征尽可能远离)可以使得跨媒体检索的效果更佳精确。因此,如何在将图像和文本投影到语义空间的同时保持它们各自的判别性分布,从而提高检索精度,是目前本领域技术人员仍需解决的技术问题。
发明内容
本发明为了解决上述问题,提出了一种基于判别性关联最大化哈希的跨模态检索方法,在将文本和图像模态的数据特征投影到一个公用的海明空间之后,仍然保持各模态的判别性分布以及使成对的多模态数据之间的关联最大化,从而提高跨模态检索的准确度。
本发明的具体技术方案如下:
一种基于判别性关联最大化哈希的跨模态检索方法,包括以下步骤:
步骤1:获取训练数据集,其中每个样本都包括成对的图像和文本两个模态数据;
步骤2:对训练数据集进行多模态提取,得到训练多模态数据集Otrain;
步骤3:对于训练多模态数据集Otrain,构造该数据集上的基于判别性关联最大化哈希的目标函数;
步骤4:求解所述目标函数,得到图像、文本的投影到公用的海明空间的投影矩阵W1和W2、图像文本对的联合哈希码B,用联合哈希码B作为该对图像和文本的哈希码;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于山东师范大学,未经山东师范大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710581083.1/2.html,转载请声明来源钻瓜专利网。