[发明专利]基于跨度和注意力机制的中文实体与关系抽取方法及装置

权利要求书

1.一种基于跨度和注意力机制的中文实体与关系抽取方法，其特征在于，包含以下步骤：

将输入的中文语句分词并转换成跨度集合，所述跨度集合中的每个跨度是由相邻k个分词构成的新短语；

将跨度集合中的每个跨度映射为向量空间的词向量集合，再使用预训练语言模型将词向量集合转换生成第一特征表示集合；

通过多层感知器注意力机制将第一特征表示集合生成第二特征表示，所述第二特征表示是句子级注意力融合特征，表示如下：

其中MLP代表全连接神经网络，u_j为经过全连接神经网络后的特征表示，𝛼_j代表由Softmax公式计算得到的注意力权重，v_s为第二特征表示，h_j是第j个跨度对应的第一特征表示；

将对应的第一特征表示、第二特征表示及占位符拼接作为每个跨度的特征向量，将特征向量输入预训练的第一分类器输出跨度属于每个实体类型的概率，取最大概率所在类型为跨度类型；

将识别出来的同一句子中任意两个具有实体类型的跨度的前后加上跨度的实体类型形成带边界信息和类型信息的跨度；

将两个带边界信息和类型信息的跨度映射为向量空间的词向量，再使用预训练语言模型将词向量集转换生成第三特征表示；

通过多层感知器注意力机制将第三特征表示生成第四特征表示，所述第四特征表示是句子级注意力融合特征；

将两个跨度的第三特征表示、第四特征表示拼接作为关系分类特征c，将关系分类特征c输入预训练的第二分类器输出两个跨度的关系。

2.根据权利要求1所述的方法，其特征在于，所述预训练语言模型为SpanBERT、BERT中的一种。

3.根据权利要求1所述的方法，其特征在于，所述将对应的第一特征表示、第二特征表示及占位符拼接作为每个跨度的特征向量r_i，具体表示如下：

h_i是第i个跨度对应的第一特征表示, h₀ 是[CLS]经过前述预训练语言模型转换后的特征表示，v_s为第二特征表示。

4.根据权利要求1所述的方法，其特征在于，所述将两个跨度的第三特征表示、第四特征表示拼接作为关系分类特征c具体为：

v’_s为第四特征表示，h’_sbj和h’_obj是两个跨度的第三特征表示。