[发明专利]一种基于路径质量判别的强化学习知识图谱推理方法

说明书

本发明提出一种基于路径质量评估的知识图谱推理算法RLKGR‑PQD。该算法包括：改进基准算法加入路径质量评估模块并给出相应的总体框架图，然后在两组公开数据集(FB15K‑237和NELL‑995)上对基准模型和改进后的RLKGR‑PQD模型进行实验，最后实验分析验证了RLKGR‑PQD算法的有效性，实验结果表明改进算法有效地提升了查询问答中的MRR指标。

技术领域

本发明属于自然语言处理领域。

背景技术

知识图谱推理的主流方法是从构造的知识图中推断出新的事实，基于强化学习的知识图谱推理方法MINERVA、MultiHop-KG以及RLKGR-CL方法均没有对路径质量进行度量。基于强化学习来对知识图谱进行建模的推理方法均存在虚假路径问题，即没有切实有依据的高质量路径进行训练，模型可能被虚假路径误导的问题。Multihop-KG提出动作丢弃(Action Drop)方法通过在采用动作集合时掩盖掉一部分出边，避免智能体被最初找到的路径误导，强制智能体充分探索所有可能路径。基于课程学习的强化学习知识图谱推理方法(RLKGR-CL)，在使用强化学习建模知识图谱查询问答的基础上融合课程学习方法：由于简单样本中虚假路径比例更低，RLKGR-CL假定虚假路径比例更低的样本为高质量的，换句话说智能体从简单样本开始学习能学到有用信息，逐步深入到复杂样本时这些信息能帮助智能体决策。但是Multihop-KG和RLKGR-CL这两个方法都避开了对路径的质量进行评估，因此自始至终无法得知用于训练的样本的质量高低。

发明内容

本发明提出一种基于路径质量评估的知识图谱推理方法RLKGR-PQD。该方法步骤如下：

(1)首先给出基准方法和改进方法RLKGR-PQD，并给出相应总体框架图。

(2)然后在两组公开数据集(FB15K-237和NELL-995)上，对基准模型和改进后的RLKGR-PQD模型进行实验。

(3)最后，实验分析验证了RLKGR-PQD方法的有效性，实验结果表明RLKGR-PQD方法有效地提升了查询问答结果的MRR指标。

附图和附表说明

图1为本发明的方法整体框图。

图2为本发明的模型在FB15K237下的学习曲线。

图3为本发明的模型在NELL995下的学习曲线。

图4为本发明实体与对应实体类别信息提取结果。

图5为本发明NELL995数据集中关系与对应类别信息提取结果。

图6为本发明FB15数据集中关系与对应类别信息提取结果。

图7为本发明的实验数据集。

图8为本发明的模型超参数。

图9为本发明的模型改进前后的查询结果。

图10为本发明的模型改进前后每轮迭代时间。

具体实施方式

下面将会描述该方法的思路，并给出方法的具体步骤。

首先简要分析了基于RL的知识图谱推理方法和RLKGR-CL方法的建模方法中未完全解决的问题，据此提出解决方案并介绍RLKGR-PQD方法的设计框架(见图1所示)；然后是对RLKGR-PQD的详细描述，包括路径评估模块输入的处理、基于文本相似度的评估以及将模块输出融入强化学习建模的方法；最后，在两组公开数据集(FB15K-237和NELL-995)上，对基准模型和改进后的RLKGR-PQD模型进行实验与结果分析，具体地在MRR、收敛速度、每轮训练时间等三个方面进行比较。实验分析验证了RLKGR-PQD方法的有效性，实验结果表明RLKGR-PQD方法有效地提升了查询问答结果的MRR指标。