[发明专利]实体和证据引导的关系预测系统及其使用方法

说明书

多任务预测系统和方法。系统包括计算设备。计算设备具有处理器和存储有计算机可执行代码的存储设备。计算机可执行代码被配置为：提供头实体和包含头实体的文档；通过语言模型处理头实体和文档，得到与头实体对应的头提取、与文档中尾实体对应的尾提取以及与文档中语句对应的语句提取；使用第一双线性层预测头提取和尾提取之间的头尾关系；使用第二双线性层将语句提取和与预测的头尾关系对应的关系向量进行组合，得到语句‑关系组合；基于语句‑关系组合和从语言模型中提取的注意力，使用第三双线性层预测支持头尾关系的证据语句。

交叉引用

在本公开的描述中引用和讨论了一些参考文献，其可能包括专利、专利申请和各种出版物。提供此类参考文献的引用和/或讨论仅用于阐明本公开的描述，并不承认任何此类参考是本文所述公开的“现有技术”。在本说明书中引用和讨论的所有参考文献均通过引用整体并入本文，其程度与每个参考文献均单独通过引用并入相同。

技术领域

本公开一般涉及关系提取，更具体地，涉及实体和证据引导的关系提取(E2GRE，Entity and Evidence Guided Relation Extraction)。

背景技术

在此提供的背景描述是为了概括地呈现本公开的上下文。目前发明人的工作，就其在本背景部分中描述的范围而言，以及在提交申请时可能不符合现有技术的描述的方面，均未明示或暗示承认为本公开的现有技术。

关系提取(RE，Relation Extraction)提取纯文本中实体对之间的关系，是自然语言处理(NLP，Natural Language Processing)中的一项重要任务。它具有对许多其他NLP任务的下游应用，例如知识图谱构建、信息检索、问答和对话系统。RE可以通过手动构建的模式、引导方法、监督方法、距离监督和无监督方法来实现。这些方法通常涉及使用神经模型来学习关系。RE的神经模型已经取得了进展。然而，这些神经模型和相关数据库只考虑语句内关系。

因此，在本领域中存在解决上述缺陷和不足的未解决的需求。

发明内容

在一些方面，本公开涉及系统。在一些实施例中，系统包括计算设备，计算设备包括处理器和存储有计算机可执行代码的存储设备。计算机可执行代码在由处理器执行时被配置为：

提供头实体和包含所述头实体的文档；

通过语言模型处理所述头实体和所述文档，得到与所述头实体对应的头提取、与所述文档中的尾实体对应的尾提取以及与所述文档中的语句对应的语句提取；

使用第一双线性层预测所述头提取和所述尾提取之间的头实体-尾实体关系；

使用第二双线性层将所述语句提取和与所述头提取和所述尾提取对应的关系向量进行组合，得到语句-关系组合；

基于所述语句-关系组合和从所述语言模型中提取的注意力，使用第三双线性层从所述文档中预测证据语句，其中所述证据语句支持所述头尾关系；以及

基于预测的所述头实体-尾实体关系、预测的所述证据语句以及所述文档的标签，更新所述语言模型、所述第一双线性层、所述第二双线性层和所述第三双线性层的参数，其中所述文档的标签包含真实头实体-尾实体关系和真实证据语句。

在一些实施例中，使用多个标注文档来训练所述语言模型、所述第一双线性层、所述第二双线性层和所述第三双线性层，所述标注文档中的至少一个标注文档具有E个实体，所述至少一个标注文档扩展为E个样本，所述E个样本中的每个样本包括所述至少一个标注文档和与所述E个实体之一对应的头实体，E为正整数。

在一些实施例中，所述计算机可执行代码被配置为基于损失函数更新所述参数，所述损失函数由定义，L_RE是关系预测损失、是语句预测损失、λ₁是权重因子，所述权重因子具有等于或大于0的值。