[发明专利]一种基于知识图谱元信息的少次关系模型训练方法

说明书

本发明公开了一种基于知识图谱元信息的少次关系模型训练方法，涉及一种训练方法。目前，关系模型训练需要大量数据。本发明包括步骤：1)初始化元模型参数；2)在普通关系上进行迭代多轮训练，得到训练好的元模型参数，训练循环步骤为：201)随机采样普通关系和对应的支持集和查询集；202)在支持集上应用损失梯度，得到临时的模型参数；203)在查询集和临时模型参数上计算梯度损失，应用并更新元模型参数；3)使用元模型参数作为初始化参数，训练少次关系模型。本技术方案将关系分为普通关系和少次关系，进行区别对待，纠正每个关系都有足量的数据进行训练的假设；少次关系的模型仅需要很少的数据便可以训练的很好，提高效率及准确性。

技术领域

本发明涉及一种训练方法，尤其涉及一种基于知识图谱元信息的少次关系模型训练方法。

背景技术

随着大数据的普及与发展，储存大量知识的大规模知识图谱越来越被人们所重视。大多数知识图谱是用三元组形式存储的，如(四川，省会，成都)便是一个三元组，这里四川是头实体，成都是尾实体，而省会是头尾实体之间的关系，这个三元组便表示了四川的省会是成都这样一个事实。这种存储格式有利于在互联网上保存。然而这种形式是离散的，因而不利于对知识图谱的计算。为了解决知识图谱的可计算性问题，知识图谱表示学习的方法被提出，这类方法旨在将知识图谱中的实体和关系表示为向量空间中的向量。对于一个查询(四川，省会，？)，表示学习方法可以很容易的给出尾实体的预测结果，但是却缺乏可解释性。因而知识图谱的多跳推理方法被提出。

具体的来说，对于一个查询(头实体，关系，？)，知识图谱的多跳推理可以看作从头实体(图谱中的节点)出发，选择下一个关系(图谱中的边)作为出边，跳到下一个实体，直到达到了最大的跳数，最后位于的实体便是预测的尾实体，而多跳的路径便是一条可解释性的路径。

少次关系是知识图谱中的一个定义，具体含义是那些拥有三元组数量很少的关系。详细的来说，如果一个关系在知识图谱中所对应的三元组的数量少于一个确定的阈值，那就可以把它认定为一个少次关系。

发表于2017年NIPS会议上的MINERVA是最早使用强化学习来进行知识图谱多跳推理的方法。该方法会学习一个智能体(agent)，该智能体会给出在当前实体下选择每个关系作为下一跳的概率，只到达到最大的跳数，如果最后停留在了正确的尾实体，便传回1作为反馈，否则传回0作为反馈。发表于2018年EMNLP上的MultiHop方法是对MINERVA的一个改进，该方法针对MINERVA仅有0和1两种反馈造成的收敛慢的问题，提出了一种连续的回馈的策略，即对于那些没达到正确尾实体的路径，也会给出一个介于0和1之间的，由知识图谱表示学习给出的反馈。

现有技术方法MINERVA和MultiHop都是针对知识图谱中多数的关系进行设计的，他们都基于一个假设，知识图谱中存在着足量的数据可以训练出比较好的模型。但是少次关系仅仅有极少量的训练数据，不能满足现有方法的假设，实验结果也表明现有技术在少次关系上的表现急剧下降。

发明内容

本发明要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供一种基于知识图谱元信息的少次关系模型训练方法，以达到少量数据便可以实现好的训练的目的。为此，本发明采取以下技术方案。

一种基于知识图谱元信息的少次关系模型训练方法，其特征在于包括以下步骤：

1)初始化元模型参数；

2)在普通关系上进行迭代多轮训练，得到训练好的元模型参数，循环步骤如下：

201)随机采样普通关系和对应的支持集和查询集；

202)在支持集上应用损失梯度，得到临时的模型参数；

203)在查询集和临时模型参数上计算梯度损失，应用并更新元模型参数；

3)使用元模型参数作为初始化参数，训练少次关系模型。