[发明专利]基于全层级注意力的关系抽取模型建立方法及其应用

权利要求书

1.一种基于全层级注意力的关系抽取模型建立方法，其特征在于，包括：

初始化步骤：获取数据集中的所有关系类型的层级结构，并将每一层级均编码为向量；所述数据集中，每一个样本为关系类型已知的句子；所述层级结构中，关系类型的分类结果与层级相关，且层级越高，对应的分类粒度越粗；

模型建立步骤：建立深度学习模型，包括句子编码网络、袋编码网络以及分类器；所述句子编码网络以包含若干头实体和尾实体相同的句子的袋为输入，用于获得袋中的各句子的向量表示，得到对应的句子向量；所述袋编码网络以所述句子编码网络输出的句子向量为输入，用于基于注意力机制获取各句子在关系类型层级结构中每一个层级的注意力权重后，对句子向量进行加权求和，得到袋在该层级的向量表示，并将袋在各层级的向量表示拼接，得到袋向量；所述分类器以所述袋编码网络输出的袋向量为输入，用于计算袋中句子的关系类型的概率分布；

模型训练步骤：将所述数据集划分为训练集、测试集和验证集，利用所述训练集、所述测试集和所述验证集依次对所述深度学习模型进行训练、测试和验证后，得到所述关系抽取模型；

在所述模型训练步骤之后还包括：对所述深度学习模型中分类器的偏差进行调整，使得对于任意一个关系类型r_i，分类器偏差为b_i+lnp(r_i|D_m)-lnp(r_i|D_d)；

或者，在所述模型训练步骤之前，还包括：对所述深度学习模型中分类器的偏差进行调整，使得对于任意一个关系类型r_i，分类器偏差为lnp(r_i|D_d)；在所述模型训练步骤之后，还包括：对所述深度学习模型中分类器的偏差进行调整，使得对于任意一个关系类型r_i，分类器偏差为lnp(r_i|D_m)；

其中，p(r_i|D_d)和p(r_i|D_m)分别表示所述关系类型r_i在所述训练集和所述验证集中出现的概率；b_i表示偏差调整前所述分类器的偏差。

2.如权利要求1所述的基于全层级注意力的关系抽取模型建立方法，其特征在于，所述袋编码网络包括k个袋向量表示模块以及袋向量拼接模块；k表示关系类型层级结构的层数；

所述袋向量表示模块以所述句子编码网络输出的句子向量，以及关系类型层级结构中一个层级的向量表示为输入；所述k个袋向量表示模块分别用于基于注意力机制获取各句子在关系类型层级结构的k个层级的注意力权重后，对句子向量进行加权求和，得到袋在该层级的向量表示；

所述袋向量拼接模块，以所述k个袋向量表示模块输出的向量表示为输入，用于将袋在各层级的向量表示拼接，得到袋向量。

3.如权利要求2所述的基于全层级注意力的关系抽取模型建立方法，其特征在于，所述袋编码网络还包括实体类型嵌入模块；

所述实体类型嵌入模块，用于获得袋中句子的头实体类型和/或尾实体类型的向量表示，得到实体类型向量表示，并所述实体类型向量表示与袋向量拼接模块输出的袋向量拼接，将拼接得到的向量作为整个袋编码网络输出的袋向量。

4.如权利要求3所述的基于全层级注意力的关系抽取模型建立方法，其特征在于，若实体类型有多个，则实体类型的向量表示为实体的多个类型的原始向量表示的平均值；所述实体为头实体或尾实体。

5.如权利要求1所述的基于全层级注意力的关系抽取模型建立方法，其特征在于，所述句子编码网络包括：句子嵌入模块和匹配关系嵌入模块；

所述句子嵌入模块用于获取句子的特征向量；

所述匹配关系嵌入模块用于提取出所有可能用于表示句子中头实体和尾实体间关系的关系词，并计算各关系词与知识库中各关系触发词的相似度，将相似度高于预设阈值的关系触发词对应的关系类型作为匹配关系类型，并将所述句子嵌入模块输出的句子的特征向量与匹配关系类型的向量表示拼接，得到句子的向量表示。