[发明专利]一种文本语料库的关系抽取方法

说明书

本发明属于关系抽取技术领域，具体涉及一种文本语料库的关系抽取方法。本发明解决了传统关系分类模型不能很好的利用句子中重要的信息对关系进行建模，并且一些神经网络模型往往需要使用NLP工具来提取额外的特征的问题，提出了基于注意力机制的分段循环神经网络。本发明所提出模型可以突出考虑句子中的关键部分，而且能够利用句子的其他部分对关键部分进行补充，然后利用潜在关系向量和注意力机制得到句子的关系表示向量，在这个过程中不需要任何手工设计的特征或者NLP工具。本发明通过依存句法分析发现关系类型，并提出了一种用来构建训练语料的弱监督方法。实验结果显示提出的关系抽取模型在弱监督获取的训练数据集上达到了较高的性能。

技术领域

本发明属于关系抽取技术领域，具体涉及一种文本语料库的关系抽取方法。

背景技术

近年来，神经网络模型由于能在不需要人工干预的情况下有效地学习有意义的隐藏特征而成为关系分类研究的主流。大部分神经网络的方法使用卷积神经网络和循环神经网络两种模型。相比较于卷积神经网络能够学习局部特征，循环神经网络在学习长距离特征方面更有效果。

关系抽取是信息抽取的一个重要部分，解决了原始文本中目标实体之间的关系分类问题。实体关系抽取对自然语言处理任务的许多应用如本体构建、自动问答、自动文摘等具有重要的意义。传统的关系抽取方法包括基于规则的方法和基于核的方法，这些都非常耗时且难以适应新的领域。近年来，神经网络能够在没有人工干预的情况下有效地学习有意义的特征，称为关系抽取研究的主流。基于机器学习的关系抽取常用的神经网络模型是卷积神经网络(CNN)和循环神经网络(RNN)。

Zeng等人首先将卷积神经网络引入到关系抽取研究中，提出一种有监督的卷积神经网络模型，将关系抽取视为多分类任务，每一个关系为一个类别。Santos等人对Zeng等人的卷积神经网络进行了改进，提出一种新的卷积神经网络(CR-CNN)，为每个关系类学习一个分布式向量表示，并通过排名进行分类。CR-CNN不使用softmax分类器，而设计了一个新的成对排序损失函数，以此减轻人为定义类的影响。Wang等人在Zeng等人的方法上，增加了多级注意力机制，使得模型能够检测到更细微的部分，并且提出了一种新的基于双边值得目标函数，取代标准的损失函数。Ren等人提出了一种新的方法，将百科中查到的名词解释也输入到CNN中得到实体描述向量，整合到最终的句子特征向量中，并添加了句内和跨句子两种注意力机制，来提升分类器的性能。

卷积神经网络在特征工程方面表现出非常好的性能，但是基于CNN的方法缺乏学习时间特征的能力，特别是实体对之间的长距离依赖。Zhang等人提出了一种有监督的循环神经网络模型，更擅长对序列数据进行建模，并提出了一种新的方法代替Zeng等人提出的位置特征，标记句子中的两个实体。Zhou等人为了解决重要信息可以出现句子任意位置的问题，提出了基于注意力机制的双向长短期记忆网络模型来捕捉句子中最重要的语义信息。Du等人对Zhou等人的方法进行了改进，提出了一种使用双向循环网络的基于多实例学习框架的多级结构自注意机制，包括单词级自注意机制和句子级自注意机制。

随着中文在全球的使用越来越广泛，中文实体关系抽取的研究也越来越紧迫，但中文上的研究难度远远大于英文，因此基于中文的关系抽取工作仍然是个不小的挑战。徐芬等人使用支持向量机的方法进行中文关系抽取，针对中文实体关系的特点，设计了词、词性标注、实体、包含关系、实体概念等特征，组成了实体间关系的上下文特征向量。李卫疆等人提出了一种基于多特征自注意力双向长短期记忆网络的方法。为了解决中文句式和语法结构复杂的问题，在单词嵌入层引入了额外特征嵌入，包括词性标注、依存句法分、语义角色标注和位置特征；同时使用双向长短期记忆网络解决梯度消失问题。马月坤等人提出了基于BERT的中文关系抽取方法,基于双向Transformer结构，不使用额外特征的条件下有效捕捉语言的深层信息。车金立等人提出了一种基于双重注意力机制的中文关系抽取方法，通过双向门限循环单元网络获取训练数据的双向上下文语义信息。第一重注意力机制获取实例中重要的语义特征，第二重注意力机制降低噪声数据的权重。

发明内容