[发明专利]基于门控机制和图注意力网络的中文实体关系抽取方法

说明书

本发明公开了一种基于门控机制和图注意力网络的中文实体关系抽取方法，首先，使用中文BERT预训练模型将文本转换为机器可以识别的向量形式；其次，将实体嵌入拼接到每个词嵌入后面，采用一种全局信息门控机制，计算门控向量，实现词嵌入的实体语义强化；然后，对文本进行依存句法分析，获得依存句法树，构造出邻接矩阵、依赖类型矩阵和依赖方向矩阵，使用掩码自注意力求得注意力权重矩阵，进而在图注意力网络中对文本进行特征提取；最后，从图注意力网络的输出中，获取两个实体和句子的表征向量，经过多层感知机将该向量转换到分类空间，输入至分类器中完成关系分类。

技术领域

本发明涉及一种基于门控机制和图注意力网络的中文实体关系抽取方法，属于面向中文的信息抽取领域。

背景技术

近年来，互联网迎来蓬勃发展，大量的信息充斥于网络中，人类进入大数据时代。在这个海量信息的时代，如何快速获取重要的信息成为迫切需要解决的问题，信息抽取技术(Information Extraction,IE)就是服务于该问题而被提出的，其作为一项解放人力的技术，目的是从半结构化或非结构化的文本中自动高效地提取出特定、有价值的信息，并将这些信息以合理的结构保存在存储媒介中。命名实体识别(Named Entity Recognition,NER)、关系抽取(Relation Extraction,RE)和事件抽取(Event Extraction)是信息抽取的重要子任务。

关系抽取方法可以分为基于传统机器学习的方法和基于深度学习的方法。基于机器学习的方法有基于特征向量的和基于核函数的两种方法，前者过于依赖人工设计的特征和自然语言分析工具，后者具有过高的时间复杂性。基于深度学习的方法提出了一种端到端的关系分类方法，依托神经网络的学习能力自动提取句子的分类特征，是当前关系抽取技术的热点研究方向。

面向中文的实体关系抽取技术具有巨大的研究价值。国内各行各业的专业文本数据，以及中文互联网上的文本信息数量是一个难以估量的天文数字，依靠纯人工的方式对这些数据进行整合梳理是难以完成的一项事情，并且网络无时无刻不在产生着数据，为了实现可持续发展的目标，只有将这种高效的计算机技术应用于中文信息领域，才能使所有的信息得到妥善应用。

发明内容

发明目的：针对现有技术中存在的技术问题，提供一种基于门控机制和图注意力网络的中文实体关系抽取方法。

技术方案：一种基于门控机制和图注意力网络的中文实体关系抽取方法，具体步骤如下：

步骤1)使用中文BERT预训练模型将文本转换为机器可以识别的向量形式；

步骤2)将句子中用于分类的实体嵌入拼接到每个词嵌入后面，采用一种全局信息门控机制，计算门控向量，实现词嵌入的实体语义强化；

步骤3)对文本进行依存句法分析，获得依存句法树，构造出邻接矩阵、依赖类型矩阵和依赖方向矩阵，使用掩码自注意力求得注意力权重矩阵，进而在图注意力网络中对文本句子进行特征提取；

步骤4)从图注意力网络的输出中，获取两个实体和句子的表征向量，经过多层感知机将该表征向量转换到分类空间，输入至分类器中完成关系分类。

进一步的，所述步骤1)的使用中文BERT预训练模型将文本转换为机器可以识别的向量形式，即文本到词向量；包含以下过程：

1-1)将句子s分割为一个字序列，然后调用BERT预训练模型将字序列向量化，形成字向量序列{c₁,c₂,…}；

1-2)采用现成的自然语言处理工具将句子进行分词得到词序列；

1-3)利用第一步的字向量序列{c₁,c₂,…}，将词序列初始化为词向量序列{v₁,v₂,…}，规则为，词向量是其所包含字的向量的加和求平均。