[发明专利]一种基于Filter的知识图谱问答联合训练方法

权利要求书

1.一种基于Filter的知识图谱问答联合训练方法，其特征在于：将知识图谱问答分为主实体识别、实体链接和关系预测三个子任务，并且通过基于Filter过滤器的联合学习方法，将主实体识别和关系预测任务进行联合学习实现；所述方法包括以下步骤：

步骤一、利用问句作为输入将主实体识别和关系预测两个子任务使用预训练语言模型BERT进行联合学习；

步骤二、将BERT模型进行联合学习后的结果输入到过滤器中，得到适用于不同子任务的词向量表示；

在步骤二中使用基于前馈神经网络FNN的方法，具体为：使用两个前馈神经网络分别为主实体识别和关系预测来提取各自的特征，然后再把提取到的与任务相关的特征输入到各自的分类器中进行预测；其具体计算公式为：

N′_i＝tanh(F_top·T_i) (3)

N_i＝LayerNorm(T_i+N′_i) (4)

其中，F_top是针对主实体识别的前馈神经网络，T_i是BERT模型的第i个输出，N′_i是做完非线性变换tanh的中间结果，N_i为基于前馈神经网络的Filter的最终输出结果，它将作为后续分类任务的输入；或；

在步骤二中使用基于Attention机制的方法，具体为：在步骤二中设定一个Label集合，其中包含两个标志START和END，其对应的词向量嵌入为{L_S，L_E}；然后以BERT输出作为Query，Label作为Key和Value做一个multi-head attention，然后将其得到的结果和BERT相加做一个归一化处理；其具体计算公式为：

N′_i＝Multi-Head Attention(T_i,L_s,L_E) (5)

N_i＝LayerNorm(T_i+N′_i) (6)

其中，T_i是BERT模型的第i个输出，N′_i是中间结果，N_i为基于Attention机制的Filter的最终输出结果，它将作为后续分类任务的输入；

步骤三、利用主实体识别、实体链接和关系预测的词向量表示从问句中识别出主实体，并在知识图谱中找到主实体的三元组，预测关系谓词；

步骤四、通过主实体词和关系谓词从知识图谱中找到答案。

2.根据权利要求1所述的方法，其特征在于：在步骤一中，使用BERT+Pointer-network实现主实体识别任务；令问句中的字符c是主实体词开始字符的概率记作p_s(c)，问句中的字符c是主实体词的结束字符的概率记作p_e(c)，Pointer-network的计算公式为：

其中，c_i代表问句的第i个字符，h_ci表示BERT模型中针对字符c_i的向量表示，L表示问句的总长度；w_s和w_e是判断每个字符是否是主实体开始或者结束的位置的参数向量；模型随机初始化w_s和w_e，然后将问句中每一个字符的向量表示为和w_s或w_e做内积，接着得到字符是主实体开始或者结束的概率的打分，然后将该打分输入一个softmax层进行归一化处理，最终得到字符是主实体词开始或者主实体词结束的概率；在训练阶段，将[CLS]位拼接上问句作为BERT的输入，采用交叉熵cross entropy作为损失函数；使用BERT对实体链接数据中问句和候选实体名文本对的正确概率进行预测实现实体链接，使用BERT网络对关系预测数据中问句和候选关系名文本对的正确概率进行预测实现关系预测；基于任务的相似性，将主实体识别和关系预测任务进行联合学习。