[发明专利]基于多层级知识蒸馏预训练语言模型自动压缩方法及平台

权利要求书

1.一种基于多层级知识蒸馏的预训练语言模型自动压缩方法，包括如下步骤：

步骤一、构建多层级知识蒸馏，在自注意力单元、隐藏层状态、嵌入层三个不同层级上蒸馏大模型的知识结构；

步骤二、训练元学习的知识蒸馏网络，生成多种预训练语言模型的通用压缩架构；

步骤二中训练元学习的知识蒸馏网络为：设计一种结构生成器的元网络，基于步骤一的多层级知识蒸馏构建知识蒸馏编码向量，利用结构生成器生成与当前输入的知识蒸馏编码向量对应的蒸馏结构模型；同时，采用伯努利分布采样的方法训练结构生成器，每轮迭代时，利用伯努利分布采样各个编码器迁移的自注意力单元，组成对应的知识蒸馏编码向量；通过改变输入结构生成器的知识蒸馏编码向量和小批次的训练数据，联合训练结构生成器和对应的蒸馏结构，得到为不同蒸馏结构生成权重的结构生成器；

步骤三、基于进化算法搜索最优压缩架构；

所述进化算法的具体步骤如下：

步骤1、将知识蒸馏编码向量定义为蒸馏结构模型的基因G，随机选取满足约束条件C的一系列基因作为初始种群；

步骤2、评估现有种群中各个基因G对应的蒸馏结构模型在验证集上的推理精度accuracy，选取精度最高的前k个基因；

步骤3、利用步骤二选取的精度最高的前k个基因进行基因重组和基因变异生成新的基因，将新基因加入现有种群中；

步骤4、重复迭代N轮步骤二和步骤三，选择现有种群中前k个精度最高的基因并生成新基因，直到获得满足约束条件C并且精度最高的基因。

2.如权利要求1所述的基于多层级知识蒸馏的预训练语言模型自动压缩方法，其特征在于：步骤三中在已训练好的元学习网络基础上，通过进化算法搜索最优压缩架构，得到与任务无关的预训练语言模型的最优通用压缩架构。

3.如权利要求1所述的基于多层级知识蒸馏的预训练语言模型自动压缩方法，其特征在于：

步骤一中将自注意力分布知识、隐藏层状态知识和嵌入层知识编码为一个蒸馏网络，采用知识蒸馏实现大模型向小模型的压缩。

4.如权利要求3所述的基于多层级知识蒸馏的预训练语言模型自动压缩方法，其特征在于：

步骤一中所述多层级知识蒸馏包括自注意力知识蒸馏、隐藏层状态知识蒸馏和嵌入层知识蒸馏。