[发明专利]一种基于深度哈希的多标签图像检索方法

说明书

本发明公开了一种基于深度哈希的多标签图像检索方法，在于提高多标签图像检索的准确率。所述方法引入成对多标签图像标签向量的余弦距离作为监督信息参与模型训练，使用残差网络对多标签图像进行特征抽取，同时引入二进制编码机制对抽取的高维特征进行降维，并使用多标签图像数据集对基于残差网络的深度哈希模型进行训练；训练完成后调用该模型在多标签图像查询数据集上进行图像检索，并评估该模型的泛化能力及检索准确度。

技术领域

本发明涉及图像检索技术领域，具体涉及一种基于深度哈希的多标签图像检索方法。

背景技术

基于内容的图像检索技术是一种使用图像作为输入的检索技术，区别于基于文本的图像检索技术。单标签图像哈希是使用哈希算法对使用单个标签标注的图像进行编码的技术，目前主流的方法是将深度学习与哈希算法相结合；多标签图像哈希技术的优势在于可以充分学习到图像所包含的多重语义信息，更加贴近现实应用场景，但目前的多标签图像哈希的性能如准确率等还有待提升。

发明内容

为了提高多标签图像检索的准确率，本发明提供一种基于深度哈希的多标签图像检索方法，所述方法引入成对多标签图像标签向量的余弦距离作为监督信息参与模型训练，使用残差网络对多标签图像进行特征抽取，同时引入二进制编码机制对抽取的高维特征进行降维，并使用多标签图像数据集对基于残差网络的深度哈希模型进行训练；训练完成后调用该模型在多标签图像查询数据集上进行图像检索，并评估该模型的泛化能力及检索准确度。

本发明的技术方案包括如下步骤：

(1)给定多标签图像训练数据集。

(2)搭建基于深度学习Keras框架的软件环境，为后续网络模型的训练做准备。

(3)对输入的多标签图像训练数据集进行数据预处理，处理成图像与标签一一对应的形式。

(4)使用残差网络加哈希损失层构建基于深度哈希的多标签图像检索模型，采用50层残差网络的前49层来提取多标签图像的高维语义特征，将残差网络最后的分类层替换为哈希损失层，对获取的高维语义特征进行降维。

(5)将经过数据预处理的多标签图像训练集输入多标签图像检索模型，使用多标签图像标签向量的余弦距离来衡量多标签图像之间的相似性，使用加权交叉熵损失和最小均方误差损失来构造一个损失函数以此保留成对多标签图像的相似性排序信息，使用量化损失函数来控制模型输出的哈希编码质量；然后将上述三组损失函数构成联合损失函数对构建好的模型进行训练，并生成HDF5格式的模型文件。

(6)使用训练好的多标签图像检索模型对多标签图像库中图像进行哈希编码，将得到多标签图像的哈希编码存入哈希表，从而建立起多标签图像库的索引库。

(7)从多标签图像查询数据集中获取图片作为查询图像，调用训练好的深度哈希模型来得到查询图像的哈希编码，计算输入图像与多标签图像数据库中图像的相似度，使用平均检索精度来评估模型的泛化能力。

附图说明

图1为本发明的流程图。

图2为本发明中的模型训练及在线检索过程图。

具体实施方式

本发明给出的实施例设计了一种新的多标签图像检索模型，一方面，模型使用残差网络增强了对多标签图像低维特征的提取能力，同时借助残差网络的恒等映射模块可以加快模型收敛速度；另一方面，模型应用了微调策略，从而可以增加模型的检索准确率。具体来说分为两个阶段：离线训练和在线检索。

离线训练阶段：首先，构建基于残差网络的深度哈希模型，使用预训练的权重来初始化模型中的参数；其次，引入交叉熵损失、最小均方误差损失和量化损失函数损失构造一个联合损失函数作为监督；最后，使用目标多标签图像训练集对该模型进行微调。