[发明专利]句中实体关系模型训练方法及句中实体关系识别方法

说明书

本发明公开了一种句中实体关系模型训练方法及句中实体关系识别方法，该句中实体关系模型训练方法包括：通过已标记样本对句中实体关系模型进行训练，根据真实实体关系与训练得到的估计实体关系之间的差异性确定第一损失项；根据所述未标记样本对所述句中实体关系模型进行训练的结果与根据所述变换样本对所述句中实体关系模型进行训练得到结果之间的距离得到第二损失项，根据第一损失项及第二损失项得到第三损失项；重复执行训练过程直至第三损失项满足预设条件停止训练，得到训练好的句中实体关系模型。本发明的技术方案可以利用少量已标记样本及未标记样本对实体关系模型进行训练，得到性能较好的句中实体关系模型。

技术领域

本发明涉及人工智能技术领域，具体而言，涉及一种句中实体关系模型训练方法及句中实体关系识别方法。

背景技术

自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向，其本质即实现人机间自然语言通信，或实现自然语言理解和自然语言生成，造成困难的根本原因在于自然语言文本和对话的各个层次上广泛存在各种各样的歧义性和多义性。但是从计算机处理的角度来看，我们需要消除歧义和多义，把带有多意思表达的自然语言转换成某种无歧义的计算机内部表示。而转换操作需要大量的知识和推理，而自然语言处理中，常常面临的一个重要挑战就是样本较少，这种情况主要体现在两个方面：

第一个方面是可收集得到的数据总量很少，数据收集的时间成本很高，尤其是在项目从0到1的立项初期尤为显著；第二个方面是数据的人工标注成本很高，由于自然语言处理任务大部分属于认知层面的任务，因而数据标注的难度和不确定性显著高于感知层面的任务（例如图像识别、语音识别等）。而通过少量已标记样本对机器学习模型进行训练得到的结果往往不尽如人意，模型评估准确性差。因此，如何通过少量已标记样本及未标记样本来训练满足业务需求的机器学习模型，是自然语言处理领域叩待解决的重要难题。

发明内容

鉴于上述问题，本发明实施例的目的在于提供一种句中实体关系模型训练方法及句中实体关系识别方法，以解决现有技术的不足。

根据本发明的一个实施方式，提供一种句中实体关系模型训练方法，该方法包括：

获取已标记样本、未标记样本及变换样本，其中，所述已标记样本包括数据及标签，所述未标记样本包括所述数据，所述数据为句中实体，所述标签为该句中实体之间的关系，所述变换样本是通过对所述未标记样本中的句中实体进行预设变换得到；

根据所述已标记样本对句中实体关系模型进行训练，根据真实实体关系与训练得到的估计实体关系之间的差异性确定第一损失项；所述句中实体关系模型包括向量量化层、上下文关联层、分类层及非线性激活层，所述分类层设置有神经元选择层；

根据所述未标记样本对所述句中实体关系模型进行训练，得到所述未标记样本对应的第一预测项；

根据所述变换样本对所述句中实体关系模型进行训练，得到所述变换样本对应的第二预测项；

根据所述第一预测项与所述第二预测项之间的距离得到第二损失项；

根据所述第一损失项及所述第二损失项确定第三损失项，根据所述第三损失项调整所述向量量化层、所述上下文关联层、所述分类层及所述非线性激活层之间的参数；

重复执行“根据所述已标记样本对句中实体关系进行训练”及其后续所有步骤，直至所述第三损失项满足预设条件停止执行，得到训练好的句中实体关系模型。

在上述的句中实体关系模型训练方法中，所述预设变换包括：

将所述未标记样本中的句中实体翻译成其他语言，再将其他语言翻译成该句中实体对应语言类型的内容得到变换样本；

和/或

将所述未标记样本中的句中实体进行同义词替换得到变换样本；