[发明专利]一种基于多头注意力的实体关系抽取方法

权利要求书

1.一种基于多头注意力的实体关系抽取方法，其特征在于包括如下步骤：

步骤1，构建训练语料，基于通用领域获得的Glove英文词向量进行训练，获得词向量表示；

步骤2，使用Bi-LSTM编码词向量表示获得句子的上下文表示；

步骤3，通过多头注意力机制获得到句子的全局特征向量以及不同子空间的特征表示；

步骤4，将不同的子空间通过矩阵树定理生成对应的隐藏森林；

所述步骤4中，通过矩阵树定理生成隐藏森林的方法是：

步骤A41，将不同的子空间通过多头注意力来计算各个子空间中对应的边分数和根分数；

步骤A42，将边分数和根分数作为输入，计算每个边的边际概率来生成隐藏森林；

步骤5，将隐藏森林以及句子学习到的全局特征向量放入图卷积神经网络GCN中进行编码，然后分别通过池化操作获得实体和句子的向量表示；

步骤6，将步骤5中的句子向量和步骤3的全局特征向量融合，再和实体向量进入全连接层得到最终向量表示；

步骤7，将步骤6中的最终向量表示通过分类器获取在关系标签上的概率分布，从而识别实体之间的关系类型。

2.如权利要求1所述的基于多头注意力的实体关系抽取方法，其特征在于：所述步骤2中，使用双向长短期记忆机制Bi-LSTM来获得上下文表示，根据下式获得句子的上下文表示h：

f(t)＝σ(W_fh_t-1+U_fx_t+b_f) (1)

i(t)＝σ(W_ih_t-1+U_ix_t+b_i) (2)

a(t)＝tanh(W_ah_t-1+U_ax_t+b_a) (3)

o(t)＝σ(W_oh_t-1+U_ox_t+b_o) (4)

c(t)＝c(t-1)⊙f(t)+i(t)⊙a(t) (5)

h(t)＝o(t)⊙tanh(c(t)) (6)

其中，x_t表示时间t的输入，h_t-1表示时间t-1的隐藏层状态，W_f、W_i、W_o和W_a分别表示特征提取过程中的遗忘门、输入门、输出门和h_t-1的权值，系数U_f、U_i、U_o和U_a分别表示特征提取过程中的遗忘门、输入门、输出门和x_t的权重系数，b_f、b_i、b_o和b_a分别表示遗忘门、输入门、输出门和特征提取过程中的偏置值，tanh是正切双曲函数，σ是激活函数Sigmoid；分别用和表示前向LSTM和后向LSTM的输出，对于第i个单词，将两个方向的输出组合起来表示：

3.如权利要求1所述的基于多头注意力的实体关系抽取方法，其特征在于：所述步骤3的具体内容是：

采用多头注意力机制从不同角度捕获输入句子的特征，设置多头注意力机制的头数与不同子空间个数相等，每一个头对应一个角度的子空间结构；每一个子空间用邻接矩阵进行表示；根据下式计算邻接矩阵中关系节点间的权重：

其中Q∈R^n×d，K∈R^n×d，V∈R^n×d分别表示查询query、键key、值value，d表示隐藏层的维度。