[发明专利]一种基于关系分解的端到端实体关系联合抽取方法及系统

说明书

本发明公开一种基于关系分解的端到端实体关系联合抽取方法，其特征在于，包括以下步骤：数据预处理:将训练集中标注的实体和关系的三元组，根据BERT模型中的词典转化为向量的形式；模型训练：根据BERT模型输出的文本向量进行关系分类，然后将关系特征与句子特征相融合进行头尾实体识别：结果解码：对不同关系类别下所识别的实体标签进行解码，并将其与关系相组合，从而得到句子中所存在的实体关系三元组。本发明通过对不同关系下的句子特征进行建模，能够有效地解决句子中重叠三元组的抽取问题，提升了实体关系联合抽取的性能，具有良好的实用性。

技术领域

本发明涉及深度学习与自然语言处理技术，具体涉及一种基于关系分解的端到端实体关系联合抽取方法及系统。

背景技术

三元组抽取作为信息抽取中的重要组成部分，它是从一组非结构化文本中以(头实体，关系，尾实体)的形式获取结构化的知识，也叫做实体关系抽取。这是构建知识图谱的关键任务之一，是其他相关自然语言处理任务的重要基础，如：机器翻译，文本摘要，推荐系统等。

早期的抽取方法大多采用基于流水线的方式来进行实体关系抽取，这类方法将抽取任务视为两个独立的子任务，分别是命名实体识别和关系分类。这种方法灵活性高，简化了处理流程，但也存在缺点，包括：误差累积、实体冗余和交互缺失。

为了解决流水线抽取方式的缺陷，实体关系联合提取使用一个模型来同时提取实体和关系。最初的联合抽取方法大多是基于特征的模型，这些模型需要复杂的预处理过程，并依赖于特征提取工具，不仅工序繁杂，而且容易引入其他错误。

为了减少人工进行特征工程，开始利用神经网络进行端到端的实体关系联合抽取，并且分为联合解码方法和参数共享方法。联合解码方法采取新的标注策略对实体和关系进行统一标注，将原来涉及到命名实体识别和关系分类的两个子任务的联合学习模型变成为一个序列标注问题。参数共享方法通过共享联合模型的编码层参数来进行联合学习，以此来实现两个子任务之间的相互依赖。端到端联合抽取方法可以利用实体和关系间的交互信息，同时抽取实体并分类实体对的关系，很好地解决了流水线方法所带来的问题。然而传统的实体关系联合抽取方案只考虑了在一个句子中抽取一条三元组的情况。但实际上，如图4所示，我们所抽取的句子中往往包含多个三元组，这些三元组还可能存在实体和关系重叠的情况。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种基于关系分解的端到端实体关系联合抽取方法及系统，通过对不同关系下的句子特征进行分别提取，结合注意力机制，引入BERT预训练模型，来充分利用整个输入句子的信息，解决重叠三元组的抽取问题，提升了实体关系联合抽取的性能。

本发明采用的技术方案如下：

本发明一种基于关系分解的端到端实体关系联合抽取方法，包括以下步骤：数据预处理:将待抽取实体关系的句子根据BERT所要求的格式进行转换，并转化成为向量的形式，作为BERT模型的输入；同时将三元组标签转化为向量的形式；分别标注出句子中的关系、头实体和尾实体；

模型训练：将BERT模型输出的文本向量，与注意力机制生成的句向量合并得到句子的最终向量表示，通过sigmoid函数进行关系分类，识别出句子中的关系；并将获取的关系特征与句子特征相融合进行头尾实体识别；

结果解码：对不同关系类别下所识别的实体标签进行解码，并将其与关系相结合，从而得到句子中所存在的实体关系三元组。

作为优选，数据预处理中的每个标签包含：句子所包含的关系类型，以及对应的关系类型下的实体在句子中的位置；其中，根据每个关系类型生成两组句子标注序列，分别表示头实体和尾实体在三元组中的位置。