[发明专利]一种基于集成知识蒸馏的图像分类方法

权利要求书

1.一种基于集成知识蒸馏的图像分类方法，其特征在于，包括以下步骤：

(1)预训练教师模型，将教师模型的训练过程分为三个阶段，从每个阶段中取出一个最好的教师模型，得到3个教师模型T₁、T₂和T₃；具体步骤为：

(1-1)对图像数据集进行预处理，然后将图像数据分批次送入教师网络中；

(1-2)训练模型使用交叉熵损失函数，使用随机梯度下降法进行模型的优化；训练过程中对学习率进行两次衰减，加速模型的收敛；

(1-3)按照学习率将教师模型的训练过程分为三个阶段，在每个阶段中选出一个测试分类准确率最好的教师模型，选出的教师模型为T₁，T₂和T₃；

(2)训练学生模型，将学生模型的训练过程划分为三个阶段，每个阶段用得到的三个教师模型来联合指导学生模型；其中，T₃在每个阶段的权重保持不变；T₁在第一阶段权重最大，T₂在第二阶段权重最大；训练学生模型采用的损失函数为：

L＝L_ce(s,y)+KD(s,t₃)+β₁KD(s,t₁)+β₂KD(s,t₂)

式中，L_ce(s,y)为交叉熵损失函数，s表示训练过程中学生模型的输出，y表示图像的真实类别；KD()为知识蒸馏的损失函数，它是两个输出之间的Kullback-Leibler散度；t₁,t₂和t₃分别表示T₁，T₂和T₃在训练过程中的输出；β₁，β₂为超参数，分别表示T₁，T₂在训练学生模型时损失函数中的权重；

(3)使用训练好的学生模型进行图片分类任务，输入待分类图片，进行分类预测。

2.根据权利要求1所述的基于集成知识蒸馏的图像分类方法，其特征在于，步骤(2)中，将学生模型的训练阶段按照学习率分为三个阶段。

3.根据权利要求1所述的基于集成知识蒸馏的图像分类方法，其特征在于，在学生模型训练的三个阶段中，β₁，β₂的取值为：

其中，a,b,η为超参数，从上式看出，T₁在第一阶段权重最大，第二阶段和第三阶段的权重依次减小；T₂在第二阶段权重最大，在第一阶段和第三阶段的权重相同。

4.根据权利要求1所述的基于集成知识蒸馏的图像分类方法，其特征在于，所述的教师网络和学生模型均采用ResNet网络或MobileNet网络。