[发明专利]一种基于对抗三元组损失的零样本知识蒸馏方法及系统

权利要求书

1.一种基于对抗三元组损失的零样本知识蒸馏方法，其特征在于，包括以下步骤：

步骤1：预训练；

首先将收集好的图像训练集进行分类标注，然后选择合适的卷积神经网络模型；将训练集中的所有图像分批次送入随机初始化的卷积神经网络中，计算预测值与真实标签的交叉熵损失；然后计算卷积神经网络中各参数相对于损失的梯度，利用随机梯度下降法更新模型参数得到训练好的教师模型；

步骤2：模型反演；

首先，将预训练阶段得到的教师模型参数冻结，使其不再更新参数值；然后，使用随机参数初始化生成器和学生模型，其中，生成器根据给定条件产生合成数据，学生模型通过学习教师模型区分生成器的生成数据的不同类别进行训练；生成器试图产生尽可能接近真实的数据，相应地，学生模型试图完美分辨不同类别的数据，并尽量与教师模型的输出一致；输入训练好的初步生成算法模型，生成对应初步生成图像并储存；

步骤3：模型训练；

学生模型通过学习教师模型区分生成器的生成数据的不同类别进行训练；学生模型试图完美分辨不同类别的数据，并尽量与教师模型的输出一致；输入训练好的初步生成算法模型，生成对应初步生成图像并储存；使用生成图像输入到教师模型和学生模型，计算教师-学生匹配损失，训练并改善学生模型；最后将训练好的学生模型导出部署。

2.如权利要求1所述的一种基于对抗三元组损失的零样本知识蒸馏方法，其特征在于，步骤1包括以下步骤：

步骤1.1：将训练数据集中的图像进行分类标注；

对训练集中所有图像分别进行标注；每张图像给定一个预先规定好的类别集合中的一个标签，将图像和标签对{(x，y)}_N存储，用于后续训练；其中，x表示图像，y表示类别标签，N表示样本数量；

步骤1.2：使用训练集分批抽取数据训练，初步生成教师模型；

首先，从训练数据集中随机选取一批次图像和标签对{(x，y)}n，并将其对应图像数据矩阵进行归一化，将图像输入教师模型；n表示随机抽取的样本数量，n＜N；

然后，教师模型输出一张不同类别的预测概率结果y'；其中，预测结果的概率数与标注训练集的总类别数码一致，即，输出的解空间为[0，(c-1)]上的所有整数，每个整数代表一种目标类别，c为目标类别的总数；

之后，将模型输出的类别概率预测结果y'与真实的类别标签y进行对比，计算交叉熵损失函数并将损失值反向传播，更新初步生成算法模型中的参数；

不断重复上述过程，直到满足设定的迭代次数后，将网络的结构与模型参数进行保存，得到训练完成的初步生成算法模型结构和参数。

3.如权利要求2所述的一种基于对抗三元组损失的零样本知识蒸馏方法，其特征在于，步骤1.2中，最小化交叉熵损失函数公式为：

其中，θ是教师模型T的模型参数，T的输出为各类别的概率预测；x∈R^B×H×W，x指输入的图像数据，B、H和W分别代表图像的通道数、高度和宽度；y_i为对应第i个类别概率，y_i中取1的位置代表该点为相应类别的感兴趣目标，0代表不是；T_θ(x)_i为教师模型对第i类感兴趣目标的预测置信度；c为目标类别的总数。