[发明专利]训练要素分类模型的方法和装置

权利要求书

1.一种训练要素分类模型的方法，所述要素分类模型用于针对句子进行要素识别，所述方法包括：

获取样本集合中的样本句子以及所述样本句子对应的要素分类标签；

利用已训练的教师语言模型，预测所述样本句子在各个要素分类上的第一概率分布，其中所述教师语言模型的层数为N；利用待训练的要素分类模型，预测所述样本句子在各个要素分类上的第二概率分布，其中，所述要素分类模型的层数为M，MN；

根据所述第二概率分布和所述第一概率分布，得到第一预测损失；

根据所述第二概率分布和所述样本句子对应的要素分类标签，得到第二预测损失；

将所述第一预测损失与所述第二预测损失进行组合，得到总损失；

以所述总损失最小为训练目标，对所述要素分类模型进行训练，得到训练后的要素分类模型。

2.如权利要求1所述的方法，其中，所述要素分类模型用于针对第一领域的句子进行要素识别；所述教师语言模型通过以下方式预先训练：

将从第二领域中获取的句子以及该句子对应的要素分类标签作为一组训练样本，对所述教师语言模型进行训练，得到所述已训练的教师语言模型。

3.如权利要求1所述的方法，其中，所述根据所述第二概率分布和所述第一概率分布，得到第一预测损失，包括：

将所述第二概率分布除以预定参数后，经过归一化处理，得到所述样本句子的第一输出分布；

根据所述样本句子的第一输出分布和所述第一概率分布，得到第一预测损失；所述第一概率分布为除以所述预定参数，并经过归一化处理后得到的。

4.如权利要求1所述的方法，其中，所述根据所述第二概率分布和所述样本句子对应的要素分类标签，得到第二预测损失，包括：

将所述第二概率分布经过归一化处理，得到所述样本句子的第二输出分布；

根据所述样本句子的第二输出分布和所述样本句子的要素分类标签，得到第二预测损失。

5.如权利要求1所述的方法，其中，所述将所述第一预测损失与所述第二预测损失进行组合，得到总损失，包括：

将所述第一预测损失乘以第一权重，将所述第二预测损失乘以第二权重，对二者求和，得到所述总损失。

6.如权利要求5所述的方法，其中，所述总损失为第一总损失或第二总损失，当所述第一权重大于所述第二权重时，得到所述第一总损失，当所述第一权重小于所述第二权重时，得到所述第二总损失；所述以所述总损失最小为训练目标，对所述要素分类模型进行训练，包括：

在训练的第一阶段，以所述第一总损失最小为训练目标，对所述要素分类模型进行训练；

在训练的第二阶段，以所述第二总损失最小为训练目标，对所述要素分类模型进行训练。

7.如权利要求1所述的方法，其中，所述样本句子为用户与机器人客服对话中的用户问句。

8.如权利要求7所述的方法，其中，所述用户与机器人客服对话属于交互式语音应答IVR。

9.如权利要求1所述的方法，其中，所述方法还包括：

将目标用户问句输入训练后的要素分类模型，通过所述要素分类模型输出目标要素；

根据所述目标要素，输出反问问句；

获取用户针对所述反问问句的补充信息；

根据所述补充信息，确定所述目标用户问句对应的标准问句。