[发明专利]文本处理模型蒸馏方法、装置、计算机设备及介质

说明书

本发明公开了一种文本处理模型蒸馏方法，该方法包括：获取原始数据以及原始数据对应的原始标签，对第一预设模型进行训练，得到第一预测模型；通过第一预测模型对原始数据进行预测，得到预测标签，并将所有预测标签分为目标标签以及未达标标签；根据未达标标签和未达标标签对应的原始数据对第二预设模型进行训练，得到第二预测模型，并对未达标标签进行优化处理，得到优化标签；通过原始数据、原始标签、目标标签和优化标签对第三预设模型进行蒸馏学习，得到文本处理模型。本发明通过一次蒸馏将第一预测模型和第二预测模型的预测标签蒸馏到文本处理模型中，进而提升了文本处理模型预测的准确性，以及提高了文本处理模型蒸馏的效率。

技术领域

本发明涉及预测模型技术领域，尤其涉及一种文本处理模型蒸馏方法、装置、计算机设备及介质。

背景技术

随着科学技术的发展，自然语言处理技术也逐渐应用在不同的领域当中。例如，关键词抽取，实体识别或者短语抽取等技术。这些技术往往需要通过训练模型的方法进行实现。例如训练文本处理模型对文本进行关键词抽取等。

现有技术中，往往在通过标注标签的文本数据对文本处理模型进行训练。针对预测效果较差的文本数据，往往需要对文本处理模型进行参数调整。如此，会导致调整后的文本处理模型无法保持对前一轮预测效果较好的文本数据的预测能力。进而导致训练得到的文本处理模型的文本处理准确率较低。

发明内容

本发明实施例提供一种文本处理模型蒸馏方法、装置、计算机设备及介质，以解决现有技术中模型预测的准确性较低和模型训练效率低的问题。

一种文本处理模型蒸馏方法，包括：

获取原始数据以及原始数据对应的原始标签，根据所述原始数据和所述原始标签对第一预设模型进行训练，得到第一预测模型；

通过所述第一预测模型对所述原始数据进行预测，得到预测标签，并将所有所述预测标签分为目标标签以及未达标标签；

根据所述未达标标签和所述未达标标签对应的所述原始数据对第二预设模型进行训练，得到第二预测模型，并通过所述第二预测模型对所述未达标标签进行优化处理，得到优化标签；

通过所述原始数据、所述原始标签、所述目标标签和所述优化标签对第三预设模型进行蒸馏学习，得到文本处理模型。

一种文本处理模型蒸馏装置，包括：

预测模块，用于获取原始数据以及原始数据对应的原始标签，根据所述原始数据和所述原始标签对第一预设模型进行训练，得到第一预测模型；

分类模块，用于通过所述第一预测模型对所述原始数据进行预测，得到预测标签，并将所有所述预测标签分为目标标签以及未达标标签；

优化模块，用于根据所述未达标标签和所述未达标标签对应的所述原始数据对第二预设模型进行训练，得到第二预测模型，并通过所述第二预测模型对所述未达标标签进行优化处理，得到优化标签；

蒸馏模块，用于通过所述原始数据、所述原始标签、所述目标标签和所述优化标签对第三预设模型进行蒸馏学习，得到文本处理模型。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述文本处理模型蒸馏方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述文本处理模型蒸馏方法。