[发明专利]实体和证据引导的关系预测系统及其使用方法

权利要求书

1.一种系统，包括计算设备，所述计算设备包括处理器和存储有计算机可执行代码的存储设备，其中，所述计算机可执行代码在由处理器执行时被配置为：

提供头实体和包含所述头实体的文档；

通过语言模型处理所述头实体和所述文档，得到与所述头实体对应的头提取、与所述文档中的尾实体对应的尾提取以及与所述文档中的语句对应的语句提取；

使用第一双线性层预测所述头提取和所述尾提取之间的头实体-尾实体关系；

使用第二双线性层将所述语句提取和与所述头提取和所述尾提取对应的关系向量进行组合，得到语句-关系组合；

基于所述语句-关系组合和从所述语言模型中提取的注意力，使用第三双线性层从所述文档中预测证据语句，其中所述证据语句支持所述头尾关系；以及

基于预测的所述头实体-尾实体关系、预测的所述证据语句以及所述文档的标签，更新所述语言模型、所述第一双线性层、所述第二双线性层和所述第三双线性层的参数，其中所述文档的标签包含真实头实体-尾实体关系和真实证据语句。

2.根据权利要求1所述的系统，其中使用多个标注文档来训练所述语言模型、所述第一双线性层、所述第二双线性层和所述第三双线性层，所述标注文档中的至少一个标注文档具有E个实体，所述至少一个标注文档扩展为E个样本，所述E个样本中的每个样本包括所述至少一个标注文档和与所述E个实体之一对应的头实体，E为正整数。

3.根据权利要求1所述的系统，其中所述计算机可执行代码被配置为基于损失函数更新所述参数，所述损失函数由定义，L_RE是关系预测损失、是语句预测损失、λ₁是权重因子，所述权重因子具有等于或大于0的值。

4.根据权利要求1所述的系统，其中所述语言模型包括以下至少之一：生成式预训练模型GPT、GPT-2、基于变换器的双向编码器表示BERT、稳健优化的BERT方法roBERTa以及重新参数化的变换器-XL网络XLnet。

5.根据权利要求1所述的系统，其中，所述计算机可执行代码被配置为从所述语言模型的最后2至5层提取所述注意力。

6.根据权利要求5所述的系统，其中，所述计算机可执行代码被配置为从所述语言模型的最后3层提取所述注意力。

7.根据权利要求1所述的系统，其中所述第一双线性层由定义，是头实体h和第k尾实体t_k之间的多个关系中的第i关系的预测值，δ表示sigmoid函数，W_i是所述第一双线性层的学习权重，b_i是所述第一双线性层的偏置。

8.根据权利要求7所述的系统，其中所述第二双线性层由定义，是所述文档中的第j语句s_j是对于第i关系r_i的支持语句的预测概率，和是是所述第二双线性层关于所述第i关系的可学习参数。

9.根据权利要求8所述的系统，其中所述第三双线性层由定义，是所述文档中的第j语句是对关于所述第k尾实体的所述第i关系的支持语句的预测概率，δ表示sigmoid函数，是所述第三双线性层的学习权重，是所述第三双线性层的偏差。

10.根据权利要求1所述的系统，其中在训练之后，所述语言模型、所述第一双线性层、所述第二双线性层和所述第三双线性层被配置为针对查询条目提供关系预测和证据预测，其中所述查询条目具有查询头实体和包含所述查询头实体的查询文档。

11.根据权利要求1所述的系统，其中，所述计算机可执行代码还被配置为提供所述文档的尾实体。