[发明专利]基于门控机制和图注意力网络的中文实体关系抽取方法

权利要求书

1.一种基于门控机制和图注意力网络的中文实体关系抽取方法，其特征在于，包含以下步骤：

步骤1)使用中文BERT预训练模型将文本转换为机器可以识别的向量形式；

步骤2)将实体嵌入拼接到每个词嵌入后面，采用一种全局信息门控机制，计算门控向量，实现词嵌入的实体语义强化；

步骤3)对文本进行依存句法分析，获得依存句法树，构造出邻接矩阵、依赖类型矩阵和依赖方向矩阵，使用掩码自注意力求得注意力权重矩阵，进而在图注意力网络中对文本句子进行特征提取；

步骤4)从图注意力网络的输出中，获取两个实体和句子的表征向量，经过多层感知机将该表征向量转换到分类空间，输入至分类器中完成关系分类。

2.根据权利要求1所述的基于门控机制和图注意力网络的中文实体关系抽取方法，其特征在于，所述步骤1)的使用中文BERT预训练模型将文本转换为机器可以识别的向量形式，即文本到词向量；包含以下过程：

1-1)将句子s分割为一个字序列，然后调用BERT预训练模型将字序列向量化，形成字向量序列{c₁,c₂,…}；

1-2)采用现成的自然语言处理工具将句子进行分词得到词序列；

1-3)利用第一步的字向量序列{c₁,c₂,…}，将词序列初始化为词向量序列{v₁,v₂,…}，规则为，词向量是其所包含字的向量的加和求平均。

3.根据权利要求1所述的基于门控机制和图注意力网络的中文实体关系抽取方法，其特征在于，所述步骤2)中词嵌入的实体语义强化指的是对于BERT模型转换得到的词嵌入进行实体语义增强，具体包含以下步骤：

2-1)将头实体和尾实体的嵌入表示拼接，然后使用一个前馈网络将两个实体的语义信息进行融合，其过程公式化为：

v_e＝tanh(W_e[v_h,v_t]+b_e)

其中，v_h和v_t分别对应头尾实体的词嵌入，是可学习的参数矩阵，用于拼接实体嵌入的线性转换，是一个偏置项，tanh为双曲正切函数，v_e是融合了头尾实体信息的实体嵌入；

2-2)将该融合后的实体嵌入与句子中每个词语的词向量进行拼接，初步得到实体嵌入增强的候选词向量；同时，将这些候选词向量加和求平均，获得融合全局信息和实体嵌入的监督向量以上过程可以表示为：

其中，表示第i个词语的候选词向量，n为句子s中词语的数量。

2-3)以监督向量与候选词向量为输入，输出每个候选词向量所对应的门控向量：

其中，是一个需要训练的参数矩阵，是偏置项，运算符⊙表示将两端向量按元素相乘，sigmoid函数输出范围为(0,1)；

2-4)计算第i个词语在经过实体嵌入增强后的词嵌入表示将该词语的候选词向量与对应的门控向量按元素相乘，其计算过程如下式：