[发明专利]一种基于多层注意力机制的远程监督关系抽取方法

权利要求书

1.一种基于多层注意力机制的远程监督关系抽取方法，其特征在于，包括以下步骤：

S1：获取知识库，将知识数据集中的句子按包进行划分；

S2：获取句子的矩阵表示：

首先，令数据集中第i个包其中，表示包Bⁱ的最后一个句子；令包Bⁱ中第j个句子其中，l_ij表示句子的词语数量；令句子的头实体的位置为其中，为头实体出现的次数；令句子的尾实体的位置为其中，为尾实体出现的次数；

然后，将头实体位置和尾实体位置进行组合得到其中

对于句子中的每一个单词利用Embedding技术，计算其所有的位置特征：其中，表示单词相对于头实体的第个位置特征向量，表示单词相对于尾实体的第个位置特征向量，表示实数域内维度为d_p的向量空间；

通过公式(1)，计算词语的中最终向量表示集合其中：

其中，表示集合中的第l个向量，是词语的嵌入式词向量，表示实数域内维度为d_w的向量空间，d表示最终向量表示维度，d＝d_w+2d_p，其中，d_w表示嵌入式词向量的维度，d_p表示位置特征向量的维度；

通过公式(2)，计算句子矩阵表示集合其中：

其中，表示集合的第l个矩阵，表示句子的第k个词语的第l个最终向量表示，1≤k≤l_ij,l_ij为句子的词语数量；

S3：通过句子编码器，获取句子的特征向量；

对于句子的每一个矩阵表示用一个含有m个卷积核{f₁，f₂，...，f_m}的分段卷积神经网络，得到X的向量表示，其中，f_m表示第m个卷积核，每一个卷积核1≤i≤m，表示实数域内尺寸为l*k的矩阵空间，l表示卷积核的长度，k表示卷积核的宽度，表示矩阵集合的第l个矩阵，

首先，通过m个卷积核提取卷积特征c_ij：

c_ij＝f_i*w_j-l+1：j (3)

其中，1≤i≤m，1≤j≤|X|+l-1，w_j-l+1：j表示矩阵X的第j-l+1行到第j行对应向量构成的矩阵，|X|表示矩阵表示X的行数；*为卷积操作；经过卷积后，得到矩阵

然后，对于每个卷积核f_i对应的卷积结果c_i，按照句子中的两个实体位置划分成三部分{c_i1，c_i2，c_i3}，分别为句头到头实体之间的部分，头实体到尾实体之间的部分，尾实体到句尾的部分，并进行分段最大池化操作：

p_ij＝max(c_ij) (4)

其中，1≤i≤m，1≤j≤3；

每个卷积核f_i对应一个3维向量p_i＝{p_i1，p_i2，p_i3}；所有卷积核对应向量拼接得到向量通过tanh函数，得到矩阵X最终向量表示：

s＝tanh(p_1：m) (5)

其中，d_s＝3m，d_s表示矩阵X最终向量表示的维度，此时，句子S对应的向量表示与其长度无关；

对于句子的个矩阵表示通过公式(3)、(4)、(5)，得到个对应的特征向量

S4：通过位置特征注意力，得到句子的权重性向量表示：

对于句子通过公式(6)，得到其权重性特征向量

其中，α_k为的权重，通过公式(7)计算得到：

其中，e_k表示向量与句子的对应关系的匹配分数，e_l表示句子的特征向量集合中第l个向量与句子的对应关系的匹配分数； e_k通过公式(8)计算得到：

其中，为句子的对应关系通过Embedding技术得到的嵌入向量；

S5：通过句子注意力，得到包的向量表示；

S6：将数据集的包组合成包对；

S7：获取每一个包对的向量表示；

S8：获取包对的损失值；

S9：通过反向传播和梯度下降，对模型参数进行更新；

S10：根据训练好的模型，针对未标注的包预测该包的关系，获得新的三元组知识，从而挖掘出包中句子的语义信息。