[发明专利]模型蒸馏方法、装置、设备以及存储介质

权利要求书

1.一种模型蒸馏方法，包括：

获取学生模型对第一训练样本进行预测所得到的第一预测概率分布；

采用所述学生模型对第二训练样本进行预测，得到第二预测概率分布；

将所述第二训练样本的标签概率分布与所述第一预测概率分布叠加，以得到叠加概率分布；

根据所述叠加概率分布与所述第二预测概率分布之间的差异，对所述学生模型进行蒸馏训练。

2.根据权利要求1所述的模型蒸馏方法，其中，所述根据所述叠加概率分布与所述第二预测概率分布之间的差异，对所述学生模型进行蒸馏训练，包括：

根据所述叠加概率分布和所述第二预测概率分布之间的差异，得到第一损失项；

根据所述第二训练样本的期望标签和预测标签之间的差异，得到第二损失项；

根据所述第一损失项和所述第二损失项，确定损失函数值；

根据所述损失函数值对所述学生模型进行蒸馏训练。

3.根据权利要求2所述的模型蒸馏方法，其中，所述根据所述第一损失项和所述第二损失项，确定损失函数值，包括：

将所述第一损失项和所述第二损失项加权，以得到所述损失函数。

4.根据权利要求1所述的模型蒸馏方法，其中，所述方法还包括：

对所述第二训练样本的期望标签采用设定扩散函数进行扩展，以得到所述标签概率分布。

5.根据权利要求1-4任一项所述的模型蒸馏方法，其中，所述获取学生模型对第一训练样本进行预测所得到的第一预测概率分布，包括：

从缓存队列中，取出所述第一预测概率分布；

所述方法还包括：

将所述第二预测概率分布存入所述缓存队列中。

6.根据权利要求1-4任一项所述的模型蒸馏方法，其中，所述将所述第二训练样本的标签概率分布与所述第一预测概率分布叠加，以得到叠加概率分布之后，还包括：

对所述叠加概率分布采用设定平滑参数进行平滑。

7.一种模型蒸馏装置，包括：

获取模块，用于获取学生模型对第一训练样本进行预测所得到的第一预测概率分布；

预测模块，用于采用所述学生模型对第二训练样本进行预测，得到第二预测概率分布；

叠加模块，用于将所述第二训练样本的标签概率分布与所述第一预测概率分布叠加，以得到叠加概率分布；

训练模块，用于根据所述叠加概率分布与所述第二预测概率分布之间的差异，对所述学生模型进行蒸馏训练。

8.根据权利要求7所述的模型蒸馏装置，其中，所述训练模块，还包括：

第一处理单元，用于根据所述叠加概率分布和所述第二预测概率分布之间的差异，得到第一损失项；

第二处理单元，用于根据所述第二训练样本的期望标签和预测标签之间的差异，得到第二损失项；

确定单元，用于根据所述第一损失项和所述第二损失项，确定损失函数值；

训练单元，用于根据所述损失函数值对所述学生模型进行蒸馏训练。

9.根据权利要求8所述的模型蒸馏装置，其中，所述确定单元，还用于：

将所述第一损失项和所述第二损失项加权，以得到所述损失函数。

10.根据权利要求7所述的模型蒸馏装置，其中，所述装置还包括：

扩展模块，用于对所述第二训练样本的期望标签采用设定扩散函数进行扩展，以得到所述标签概率分布。

11.根据权利要求7-10任一项所述的模型蒸馏装置，其中，所述获取模块，还用于：

从缓存队列中，取出所述第一预测概率分布；

所述装置还包括：

存入模块，用于将所述第二预测概率分布存入所述缓存队列中。