[发明专利]文本处理模型蒸馏方法、装置、计算机设备及介质

权利要求书

1.一种文本处理模型蒸馏方法，其特征在于，包括：

获取原始数据以及原始数据对应的原始标签，根据所述原始数据和所述原始标签对第一预设模型进行训练，得到第一预测模型；

通过所述第一预测模型对所述原始数据进行预测，得到预测标签，并将所有所述预测标签分为目标标签以及未达标标签；

根据所述未达标标签和所述未达标标签对应的所述原始数据对第二预设模型进行训练，得到第二预测模型，并通过所述第二预测模型对所述未达标标签进行优化处理，得到优化标签；

通过所述原始数据、所述原始标签、所述目标标签和所述优化标签对第三预设模型进行蒸馏学习，得到文本处理模型。

2.如权利要求1所述的文本处理模型蒸馏方法，其特征在于，所述将所有所述预测标签分为目标标签以及未达标标签，包括：

基于同一所述原始数据对应的所述原始标签和所述预测标签，确定所述预测标签对应的预测值；

获取预设标签阈值，并将所述预测值和所述预设标签阈值进行比较；

将大于或等于所述预设标签阈值的所述预测值对应的所述预测标签确定为所述目标标签，将小于所述预设标签阈值的所述预测值对应的所述预测标签确定为所述未达标标签。

3.如权利要求1所述的文本处理模型蒸馏方法，其特征在于，所述通过所述原始数据、所述原始标签、所述目标标签和所述优化标签对第三预设模型进行蒸馏学习，得到文本处理模型，包括：

将所述原始数据和所述原始标签输入至所述第三预设模型中，通过所述原始数据和所述原始标签对所述第三预设模型进行蒸馏学习，得到蒸馏模型；

通过所述蒸馏模型对所述原始数据进行预测，得到第一训练标签；

将所述目标标签和所述优化标签蒸馏到所述蒸馏模型，并根据所述目标标签、所述优化标签以及所述第一训练标签，确定第一损失值；

根据所述第一损失值对所述蒸馏模型进行优化处理，并确定所述第一损失值是否符合收敛条件，当所述第一损失值达到所述收敛条件时，将所述蒸馏模型确定为所述文本处理模型。

4.如权利要求3所述的文本处理模型蒸馏方法，其特征在于，所述根据所述第一损失值对所述蒸馏模型进行优化处理，并确定所述第一损失值是否符合收敛条件之后，包括：

若所述第一损失值未达到所述收敛条件，对所述蒸馏模型的初始参数进行调整，得到目标蒸馏模型；

通过所述目标蒸馏模型对所述原始数据进行预测，得到蒸馏标签；根据所述蒸馏标签和所述原始标签，确定第二损失值；

在所述第二损失值未达到所述收敛条件，迭代更新所述目标蒸馏模型中的初始参数，直至所述第二损失值达到所述收敛条件时，将收敛之后的所述目标蒸馏模型记录为所述文本处理模型。

5.如权利要求1所述的文本处理模型蒸馏方法，其特征在于，所述根据所述原始数据和所述原始标签对第一预设模型进行训练，得到第一预测模型，包括：

将所述原始数据输入至所述第一预设模型中，通过所述第一预设模型对所述原始数据进行预测，得到第二训练标签；

根据同一所述原始数据对应的所述第二训练标签和所述原始标签，确定第三损失值；

根据所述第三损失值对所述第一预设模型进行优化处理，得到所述第一预测模型。

6.如权利要求1所述的文本处理模型蒸馏方法，其特征在于，所述根据所述未达标标签和所述未达标标签对应的原始数据对第二预设模型进行训练，得到第二预测模型，包括：

将所述未达标标签对应的所述原始数据输入至所述第二预设模型中，通过所述第二预设模型对所述未达标标签对应的所述原始数据进行预测，得到第三训练标签；

根据同一所述原始数据对应的所述第三训练标签和所述未达标标签，确定第四损失值；

通过所述第四损失值对所述第二预设模型进行优化处理，得到所述第二预测模型。