[发明专利]模型蒸馏方法、装置、设备以及存储介质

说明书

本申请公开了一种模型蒸馏方法、装置、设备及存储介质，涉及深度学习、大数据、自然语言处理等技术领域。具体实现方案为：获取学生模型预先对第一训练样本进行预测得到的第一预测概率分布，采用学生模型对第二训练样本进行预测，得到第二预测概率分布，将第二训练样本的标签概率分布与第一预测概率分布叠加，以得到叠加概率分布，根据叠加概率分布与第二预测概率分布之间的差异，对学生模型进行蒸馏训练。由此，通过学生模型预先训练得到的概率分布与标签概率分布叠加后得到的叠加概率分布对学生模型进行蒸馏训练，在不引入额外模型的前提下有效提升了蒸馏的效果，降低了训练过程中所需的计算资源，减小了蒸馏后的模型的存储空间。

技术领域

本申请公开了一种模型蒸馏方法、装置、设备以及存储介质，尤其涉及自然语言处理，具体涉及深度学习和大数据技术领域。

背景技术

由于存储空间和功耗的限制，神经网络模型在嵌入式设备上的存储和计算仍然是一个巨大的挑战。模型压缩是针对这一问题的有效解决方法。知识蒸馏是一种常见的模型压缩方法，其可以将一个或多个复杂模型的知识迁移到另一个轻量级神经网络模型之中。典型的深度神经网络蒸馏，将体积较大或多个模型集成的深度网络模型称为教师模型，用于提取知识；将体积较小的轻量级模型称为学生模型，用于接收教师模型的知识，蒸馏训练后即可享有小模型体积小、速度快的优势，也可以获得与大模型更相近的精度表现。但是，在很多深度学习实际应用场景下难以找到一个完美的教师模型，或者由于教师模型计算量过大、训练周期长等难题，蒸馏技术难以实际应用。针对这一问题，需要一种新的模型蒸馏技术来克服这些困难。

发明内容

本申请提供了一种模型蒸馏方法、装置、设备以及存储介质。

根据本申请的一方面，提供了一种模型蒸馏方法，包括：

获取学生模型对第一训练样本进行预测所得到的第一预测概率分布；

采用所述学生模型对第二训练样本进行预测，得到第二预测概率分布；

将所述第二训练样本的标签概率分布与所述第一预测概率分布叠加，以得到叠加概率分布；

根据所述叠加概率分布与所述第二预测概率分布之间的差异，对所述学生模型进行蒸馏训练。

根据本申请的另一方面，提供了一种模型蒸馏装置，包括：

获取模块，用于获取学生模型对第一训练样本进行预测所得到的第一预测概率分布；

预测模块，用于采用所述学生模型对第二训练样本进行预测，得到第二预测概率分布；

叠加模块，用于将所述第二训练样本的标签概率分布与所述第一预测概率分布叠加，以得到叠加概率分布；

训练模块，用于根据所述叠加概率分布与所述第二预测概率分布之间的差异，对所述学生模型进行蒸馏训练。

根据本申请的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例所述的模型蒸馏方法。

根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述实施例所述的模型蒸馏方法。

根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述实施例中所述的模型蒸馏方法

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。