[发明专利]训练要素分类模型的方法和装置

说明书

本说明书实施例提供一种训练要素分类模型的方法和装置，要素分类模型用于针对句子进行要素识别，方法包括：获取样本集合中的样本句子及对应的要素分类标签；利用已训练的教师语言模型，预测样本句子在各要素分类上的第一概率分布，教师语言模型的层数为N；利用待训练的要素分类模型，预测样本句子在各要素分类上的第二概率分布，要素分类模型的层数为M，MN；根据第二概率分布和第一概率分布，得到第一预测损失；根据第二概率分布和要素分类标签，得到第二预测损失；将第一预测损失与第二预测损失进行组合，得到总损失；以总损失最小为训练目标，对要素分类模型进行训练。能够提高要素识别的准确率。

技术领域

本说明书一个或多个实施例涉及计算机领域，尤其涉及训练要素分类模型的方法和装置。

背景技术

人工智能(artificial intelligence，AI)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。深度学习(deep learning)是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。当前，在机器人客服代替人工客服解答用户问题的过程中，常常要针对用户问句进行要素识别，要素识别即对用户文本提取出业务和诉求等相关词作为对话中的要素，用于对用户表达内容的粗粒度理解。

发明内容

本说明书一个或多个实施例描述了一种训练要素分类模型的方法和装置，能够在要素分类模型结构简单的情况下，提高要素识别的准确率。

第一方面，提供了一种训练要素分类模型的方法，所述要素分类模型用于针对句子进行要素识别，方法包括：

获取样本集合中的样本句子以及所述样本句子对应的要素分类标签；

利用已训练的教师语言模型，预测所述样本句子在各个要素分类上的第一概率分布，其中所述教师语言模型的层数为N；利用待训练的要素分类模型，预测所述样本句子在各个要素分类上的第二概率分布，其中，所述要素分类模型的层数为M，MN；

根据所述第二概率分布和所述第一概率分布，得到第一预测损失；

根据所述第二概率分布和所述样本句子对应的要素分类标签，得到第二预测损失；

将所述第一预测损失与所述第二预测损失进行组合，得到总损失；

以所述总损失最小为训练目标，对所述要素分类模型进行训练，得到训练后的要素分类模型。

在一种可能的实施方式中，所述要素分类模型用于针对第一领域的句子进行要素识别；所述教师语言模型通过以下方式预先训练：

将从第二领域中获取的句子以及该句子对应的要素分类标签作为一组训练样本，对所述教师语言模型进行训练，得到所述已训练的教师语言模型。

在一种可能的实施方式中，所述根据所述第二概率分布和所述第一概率分布，得到第一预测损失，包括：

将所述第二概率分布除以预定参数后，经过归一化处理，得到所述样本句子的第一输出分布；

根据所述样本句子的第一输出分布和所述第一概率分布，得到第一预测损失；所述第一概率分布为除以所述预定参数，并经过归一化处理后得到的。

在一种可能的实施方式中，所述根据所述第二概率分布和所述样本句子对应的要素分类标签，得到第二预测损失，包括：

将所述第二概率分布经过归一化处理，得到所述样本句子的第二输出分布；

根据所述样本句子的第二输出分布和所述样本句子的要素分类标签，得到第二预测损失。

在一种可能的实施方式中，所述将所述第一预测损失与所述第二预测损失进行组合，得到总损失，包括：