[发明专利]一种基于判别性提升的零样本草图检索方法

说明书

一种基于判别性提升的零样本草图检索方法,提出教师‑学生网络体系结构，由一个使用预训练模型的教师网络和一个由教师网络引导输出的学生网络组成。通过采用更强大的预训练模型作为教师网络，并增加基于预测概率的硬编码距离来进一步增强教师网络的判别性。然后，使用教师网络的输出作为学习目标，对学生网络进行微调。经过训练，得到性能更优的草图网络模型。检索时，将待查询的草图和每一张候选图像输入到草图网络模型中，得到它们的特征向量。计算这些特征向量之间的欧几里得距离，并以此度量草图查询和每个候选图像之间的相似度。根据相似度大小，模型返回与待查询的草图最相似的图像。本发明检索准确率高，模型稳定性高，适用性强的优点。

技术领域

本发明基于草图的图像检索领域，特别是涉及一种基于判别性提升的零样本草图检索方法。

背景技术

基于草图的图像检索（Sketch-Based Image Retrieval, SBIR）技术被广泛用于许多实际应用中，例如动画，电子商务和安全领域。它允许用户使用徒手绘制的草图来替代传统的文本和图像作为输入来搜索感兴趣的图像。

给定待查询的草图，SBIR任务的目的是检索目标数据集中具有与查询草图相似语义的图像。为此，需要一个带有标签的草图和图像的训练数据集，以便于模型学习草图域和图像域之间的语义关系。

一般来说，SBIR任务中的训练数据集和目标数据集共享所有样本类别。即，检索到的图像的类别已经出现在训练集中。但是，在实际应用中，通常训练集很难涵盖所有的类别。当目标数据集中的类别不在训练集中时，检索就只能依靠送入训练完成模型的单个草图。这就是零样本的SBIR（Zero Shot-SBIR, ZS-SBIR）任务。ZS-SBIR问题的一种解决方案是使用在大型数据集上预训练的模型作为基础网络，然后对训练数据集进行微调来学习草图域和图像域的公共特征空间。这样，即通过将跨模态信息嵌入到公共特征空间来弥合域间隔。但是，在模型微调过程中，可能会丢失模型在预训练过程中获得的先验知识，从而导致模型在目标数据集的性能退化。

近年来，随着智能电话和Internet的不断发展，SBIR已成为动画，电子商务和安全性领域不可或缺的部分。但是，SBIR方法在现实世界中表现不佳。因此，本发明要解决的主要问题是在现实世界中稳定有效地检索出与用户绘制的草图有关的图像。

发明内容

为了解决上述问题，本发明使用了一种学生教师网络架构，该架构由使用预训练模型的教师网络和一个由教师网络指导输出的学生网络组成。本发明没有在教师网络中引入补充语义，而是采用功能更强大的预训练模型作为教师网络，并通过基于预测概率添加硬编码距离的方式来进一步增强模型判别能力。然后，通过使用修改后的教师网络的输出作为学习目标来调整学生网络。

本发明提供一种基于判别性提升的零样本草图检索方法，具体步骤如下：

1）在两个损失函数的引导下在训练集上训练模型；

具体步骤如下：

①特征嵌入；

分类系统通常由特征嵌入模块和分类器模块组成，在深度学习中，端到端方案将这两个模块集成到一个网络中，对于特征嵌入模块，采用基于ResNeXt的CSE-ResNeXt模型作为基础网络，CSE-ResNeXt模型通过添加表示数据来自哪个域的标志符，将来自不同域的数据置于一个框架下，使模型在训练过程中更加关注将草图和图像嵌入到一个公共特征空间中，以弥合两种数据模态之间的差距，借助CSE-ResNeXt模型，生成M维的源特征 ;

②Benchmark分类器，即损失函数1：

Benchmark分类器的目的是：在公共特征空间中，使同一类中的草图和图像特征相互靠近，从而对不同类别的草图和图像进行判别，这是一个分类问题，Benchmark分类器的损失定义为预测标签和真实标签之间的交叉熵；

其中N为训练集中所以训练样本的数量，与是Benchmark分类器的权重与偏置项；

③判别性提升分类器，即损失函数2：