[发明专利]一种模块替换与知识蒸馏结合的模型压缩方法

权利要求书

1.一种模块替换与知识蒸馏结合的模型压缩方法，其特征在于，包括以下步骤：

S1，涉及老师模型和学生模型；老师模型是预训练模型，在大数据集上面进行预训练，具有良好的泛化能力；但是大模型推理时间过久，无法线上使用；小模型线上推理时间短，但是精度较低；所以我们需要提高学生模型的准确率替代老师模型；

S2，首先使用预训练模型作为老师模型，在目标数据集进行微调；提高老师模型在当前目标域的泛化能力；

S3，第一阶段，由老师模型和学生模型组成的混合模型初始化，学生模型首先进行随机初始化，老师模型加载S2阶段训练好的权重并冻结；

S4，混合模型中学生模型与老师模型的不同层级模块进行交互；在交互过程中，老师模型主要分为几个模块，学生模型也分为几个模块；模块之间输入输出的特征图大小一一对应；老师模型的不同模块和学生模型的不同层级的模块互相对应；

S5，一个样本从混合模型的入口进入；到达混合模型的分界点的时候进行选择，选择进入老师模型或者学生模型的第一个模块；

S6，当该样本从第一个模块出来的时候，变成固定大小的特征图；该特征图无论从老师模型的模块出来，还是学生模型模块出来，特征图大小一致；

S7，该特征图进入混合模型后面的模块，每一次都在老师网络和学生网络的模块中进行选择；在训练的过程中，老师网络模块不参加反向传播；只对学生网络模块进行反向传播；在训练过程中，老师网络模块始终不变；

S8，在训练过程中，学生模型的模块逐步替换老师模型中的模块参与训练；学生模型训练过程是模块替换的过程，该方法训练效率更高，反向传播有更好的效果，收敛速度更快；

S9，第二阶段，在模型训练的后期，完整移除老师网络的所有模块，仅对学生模型进行训练，使学生模型完全适应自身，同时使用老师网络的输出层监督学生模型的训练；在S9过程中，降低学习率，使学生模型从老师模型学到的特征不会被遗忘；

S10，在训练的第一阶段和第二阶段，损失函数都由两部分构成；第一阶段使用老师模型的输出和混合模型的输出计算知识蒸馏损失，使用混合模型的输出和标签计算交叉熵损失，两者相加构成整体的损失函数；在第二阶段训练过程中，使用老师模型的输出和学生模型的输出计算知识蒸馏损失，使用学生模型的输出和标签计算交叉熵损失，两者相加构成整体的损失函数。