[发明专利]一种模块替换与知识蒸馏结合的模型压缩方法

说明书

本发明公开了一种模块替换与知识蒸馏结合的模型压缩方法，包括以下步骤：S1，涉及老师模型和学生模型；老师模型是预训练模型，在大数据集上面进行预训练，具有良好的泛化能力；但是大模型推理时间过久，无法线上使用；小模型线上推理时间短，但是精度较低；所以我们需要提高学生模型的准确率替代老师模型。本发明在图像分类和文本分类数据集上获得较高的准确率，继而体现出本发明的有效性；在神经网络模型广泛应用的今天，神经网络的推理时间和大小是限制神经网络应用场景的主要因素，基于此，本发明能明显能够有效降低模型大小，扩大神经网络应用领域，使神经网络能够应用到存储资源和计算资源受限的场景中。

技术领域

本发明涉及模型压缩技术领域，特别涉及一种模块替换与知识蒸馏结合的模型压缩方法。

背景技术

通常我们训练出的神经网络模型都比较大，将大模型直接部署到线上的时候计算时长较长，将这些模型部署到例如手机、机器人等移动设备上时比较困难。模型压缩可以将大模型压缩成小模型，压缩后的小模型也能得到和大模型接近甚至更好的性能。模型压缩主要包括几种模型压缩方法：网络裁剪，知识蒸馏，参数量化和模型结构设计。

一般的知识蒸馏方法是先在训练集上从零训练一个大模型作为老师模型，然后使用老师模型监督学生模型在训练集上进行训练。

我们的方法是将预训练模型作为老师模型在两个维度上参与监督学生模型训练，分别是输出层和中间层。使用预训练模型的目的减少训练老师模型的训练次数，可以充分使用预训练模型中的知识，将大模型的模块和小模型的模块分层对应组成一个混合模型，每次训练过程在大模型和小模型的模块中选择一个参与训练过程，同时外部使用大模型的输出监督混合模型输出的训练过程，第二阶段将所有小模型的块结构组合到一起继续用大模型的输出监督训练，从而提高小模型的准确率通过小模型替代大模型，从而实现降低模型大小，实现模型压缩的目的。

发明内容

本发明要解决的技术问题是克服现有技术的缺陷，提供一种模块替换与知识蒸馏结合的模型压缩方法，充分吸收预训练模型知识，能够实现更高的准确率。

本发明提供了如下的技术方案：

本发明提供一种模块替换与知识蒸馏结合的模型压缩方法，包括以下步骤：

S1，涉及老师模型和学生模型；老师模型是预训练模型，在大数据集上面进行预训练，具有良好的泛化能力；但是大模型推理时间过久，无法线上使用；小模型线上推理时间短，但是精度较低；所以我们需要提高学生模型的准确率替代老师模型；

S2，首先使用预训练模型作为老师模型，在目标数据集进行微调；提高老师模型在当前目标域的泛化能力；

S3，第一阶段，由老师模型和学生模型组成的混合模型初始化，学生模型首先进行随机初始化，老师模型加载S2阶段训练好的权重并冻结；

S4，混合模型中学生模型与老师模型的不同层级模块进行交互；在交互过程中，老师模型主要分为几个模块，学生模型也分为几个模块；模块之间输入输出的特征图大小一一对应；老师模型的不同模块和学生模型的不同层级的模块互相对应；

S5，一个样本从混合模型的入口进入；到达混合模型的分界点的时候进行选择，选择进入老师模型或者学生模型的第一个模块；

S6，当该样本从第一个模块出来的时候，变成固定大小的特征图；该特征图无论从老师模型的模块出来，还是学生模型模块出来，特征图大小一致；

S7，该特征图进入混合模型后面的模块，每一次都在老师网络和学生网络的模块中进行选择；在训练的过程中，老师网络模块不参加反向传播；只对学生网络模块进行反向传播；在训练过程中，老师网络模块始终不变；

S8，在训练过程中，学生模型的模块逐步替换老师模型中的模块参与训练；学生模型训练过程是模块替换的过程，该方法训练效率更高，反向传播有更好的效果，收敛速度更快；