[发明专利]一种面向句子级别的关系抽取方法、设备及存储介质

权利要求书

1.一种面向句子级别的关系抽取方法，其特征在于，包括如下：

获得一个句子，所述一个句子包括两个实体，在每个实体的两端分别插入特殊标记，输入预训练语言模型得到该句子每个词的词向量；

使用随机初始化得到关系嵌入，分别与每个词的词向量采用点积注意力机制得到其相关程度，进一步得到句子的注意力表示集合，将该集合中的每个向量输入二分类器得到预测结果，计算二分类损失；

基于注意力表示集合利用最大池化计算得到关系向量，利用平均池化得到句子向量，两个实体向量，将上述四个向量进行拼接输入多分类器获得多分类损失；

将句子中的两个实体按照预先设定概率进行掩藏，获得另外一个句子S’；对另外一个句子重复上述步骤获得二元损失和多元损失，进一步获得两个句子预测结果的一致性损失；

对二元损失、多元损失、一致性损失进行联合训练，当损失最小值时获得关系抽取模型，实现关系抽取。

2.根据权利要求1所述的关系抽取方法，其特征在于，所述获得一个句子，所述一个句子包括两个实体，在每个实体的两端分别插入特殊标记，具体为：

获得一个句子S，在句子开头插入特殊标记“[CLS]”,在第一个实体两端插入特殊标记“#”，在第二个实体两端插入特殊标记“$”。

3.根据权利要求1所述的关系抽取方法，其特征在于，使用随机初始化得到关系嵌入，分别与每个词的词向量采用点积注意力机制得到其相关程度，进一步得到句子的注意力表示集合,具体为：

随机初始化获得关系嵌入，每一个关系嵌入分别与每个词向量使用点积注意力机制得到相关程度；

公式中e_i代表第i种关系的嵌入，h_j代表第j个词的词向量，使用得到的相关程度对词向量进行逐元素相乘，并将乘积相加得到句子的注意力表示集合V＝{v₁,v₂,…,v_m}；

4.根据权利要求1所述的关系抽取方法，其特征在于，将注意力表示集合中的每个向量输入二分类器得到预测结果，计算二分类损失，具体为：

将注意力表示集合中每个向量分别输入二分类器中，得到该关系存在的概率，随后根据真实标签使用交叉熵损失函数得到二元损失L_bin；

其中真实标签根据如下规则生成：对于预定义关系集中的每个关系r，若存在该关系则标签为1，否则标签为0。

5.根据权利要求1所述的关系抽取方法，其特征在于，所述基于注意力表示集合利用最大池化计算得到关系向量，利用平均池化得到句子向量，两个实体向量具体为：

句子向量按照如下公式获得：

h_cls＝W₀[tanh(h₀)]+b₀

两个实体向量按照如下公式获得：

关系向量按照如下公式获得：

h_v＝W₂[tanh(MaxPooling(V))]+b₂

其中i,j分别是第一个实体的开始下标和结束下标，k,l分别是第二个实体的开始下标和结束下标。

6.根据权利要求1所述的关系抽取方法，其特征在于，所述设定概率小于0.5。

7.根据权利要求1所述的关系抽取方法，其特征在于，获得两个句子预测结果的一致性损失，其中一致性损失为：

和分别代表句子S和S’的多分类预测结果。