[发明专利]一种基于半监督多模态哈希编码的跨模态检索方法

说明书

本发明公开了一种基于半监督多模态哈希编码的跨模态检索方法，包括：对原始图像数据进行预处理，获得所述原始图像数据的实数矩阵向量；根据所述实数向量获取辅助变量；根据所述辅助变量估计所述原始图像数据中无标记数据的标记矩阵；根据原始图像数据中有标记数据的标记矩阵和已估计的无标记数据的标记矩阵生成哈希编码矩阵。该半监督多模态哈希编码方法调整了哈希编码过程中，原始图像数据中已有真实标记与估计标记的权重，并且采用了非线性模型，能够有效地利用有限的标记信息提高数据的检索精度。

技术领域

本发明属于跨模态检索技术领域，具体涉及一种基于半监督多模态哈希编码的跨模态检索方法。

背景技术

哈希编码是一种将实数向量表示为二进制数向量的方法，用二进制数向量的检索替代对实数向量的检索能够减少计算量。多模态数据是指不同类型的实数向量，例如用于表示图像的SIFT(Scale-invariant feature transform，尺度不变特征变换)特征的是一个128维的实数向量，用于表示文字的LDA(Latent Dirichlet Allocation，文档主题生成模型)特征是一个10维的实数向量，这两组实数向量就是两种不同模态的数据。

多模态哈希编码是将多组成对实数向量用同一组二进制数向量表示，从而实现跨模态的检索。例如从社交网络上抓取的图像及其文字标签信息就是成对的，通过多模态哈希编码，可以实现用文字标签检索图像，或者用图像检索文字标签。半监督，是指数据中只有一部分是有标记的。半监督多模态哈希编码，是指利用部分标记来提高多模态数据哈希编码效果的方法。

目前，具有代表性半监督多模态哈希编码方法包括S3FH方法(J.Wang,G.Li,P.Pan,and X.Zhao,“Semi-supervised semantic factor-ization hashing for fastcross-modal retrieval,”Multimedia Tools Appl.,vol.76,no.19,pp.20197–20215,Oct.2017)和SSMH方法(D.Tian,D.Zhou,M.Gong and Y.Wei,“Interval type-2fuzzylogic for semisupervisedmultimodal hashing”,IEEE Transactions on Cybernetics,in press)。S3FH方法采用的是一种基于图的哈希编码方法，它同时为有标记和无标记的数据生成新的标记，由于生成的新标记在准确度上不如真实的标记，因此S3FH方法效果有所限制。而SSMH采用二类模糊逻辑，表示不同模态新生成的标记之间的关系，但是它采用的是线性模型，因此无法处理非线性的数据结构。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于半监督多模态哈希编码的跨模态检索方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种基于半监督多模态哈希编码的跨模态检索方法，包括：

S1：对原始图像数据进行预处理，获得所述原始图像数据的实数矩阵向量；

S2：根据所述实数向量获取辅助变量；

S3：根据所述辅助变量估计所述原始图像数据中无标记数据的标记矩阵；

S4：根据原始图像数据中有标记数据的标记矩阵和已估计的无标记数据的标记矩阵生成哈希编码矩阵；

S5：根据所述哈希编码矩阵进行数据检索，搜索检索数据库中与目标向量距离最近的向量。

在本发明的一个实施例中，所述S1包括：