[发明专利]一种基于判别性提升的零样本草图检索方法

权利要求书

1.一种基于判别性提升的零样本草图检索方法，具体步骤如下，其特征在于：

1）在两个损失函数的引导下在训练集上训练模型；

具体步骤如下：

①特征嵌入；

分类系统通常由特征嵌入模块和分类器模块组成，在深度学习中，端到端方案将这两个模块集成到一个网络中，对于特征嵌入模块，采用基于ResNeXt的CSE-ResNeXt模型作为基础网络，CSE-ResNeXt模型通过添加表示数据来自哪个域的标志符，将来自不同域的数据置于一个框架下，使模型在训练过程中更加关注将草图和图像嵌入到一个公共特征空间中，以弥合两种数据模态之间的差距，借助CSE-ResNeXt模型，生成M维的源特征;

②Benchmark分类器，即损失函数1：

Benchmark分类器的目的是：在公共特征空间中，使同一类中的草图和图像特征相互靠近，从而对不同类别的草图和图像进行判别，这是一个分类问题，Benchmark分类器的损失定义为预测标签和真实标签之间的交叉熵；

其中N为训练集中所以训练样本的数量，与是Benchmark分类器的权重与偏置项；

③判别性提升分类器，即损失函数2：

较高的判别能力可使样本接近同一类别的样本，而远离其他类别的样本，通过增加带有硬编码距离的预测概率向量来提高分类器的判别能力，具体为，将预测概率向量中的最大概率值以a为系数来增加，预测概率向量的其它概率值以-b为系数来减小；

给定教师网络的预测概率向量：

判别性提升后的预测概率向量：

在获得判别性提升后的预测概率向量之后，学生网络原本的另一个交叉熵损失函数就变为判别性提升损失函数：

其中n为训练集中所有图像样本的数量，与是判别性提升分类器的权重与偏置项；

④总的损失函数；

整个学生网络的总损失是Benchmark损失和判别性提升损失的和：

有了总的损失函数，通过最小化学生网络的总损失来训练一个网络以此生成一个判别模型；

2）测试训练好的模型；

具体步骤如下：

①准备测试图像数据集，该数据集中的任何一个样本，其类别都未在训练集中出现，其输入训练好的模型中，模型会输出对应的图像特征向量，将这些特征向量保存下来；

②将需要查询的草图输入模型，获得其对应的特征向量；

③计算上两步得出特征向量之间的欧几里得距离，以此来测量需要查询的草图与每个候选图像之间的相似度，根据测量出来的相似度，模型将与草图相似度最高的图像输出。

2.根据权利要求1所述的一种基于判别性提升的零样本草图检索方法，其特征在于：所述的基于草图的图像检索方法的应用条件是拥有足够的草图数据与图像数据来供给模型的训练所需。

3.根据权利要求1所述的一种基于判别性提升的零样本草图检索方法，其特征在于：CSE-ResNeXt模型通过添加表示数据来自哪个域的具体域标识符来确定数据为草图域或图像域。

4.根据权利要求1所述的一种基于判别性提升的零样本草图检索方法，其特征在于：所述的教师-学生网络模型，通过使用更强的教师网络，和对教师网络的输出进行硬编码增强来提升模型的判别性，从而提升学生网络的整体性能。