[发明专利]一种基于课程规划元学习的增量关系抽取方法

说明书

本发明公开了一种基于课程规划元学习的增量关系抽取方法，包括以下步骤：构建课程规划元学习增量关系抽取框架；计算关系间相似度，并根据相似度重新规划记忆缓存训练顺序；训练关系抽取神经网络模型，并结合元学习思想，使用元学习参数更新公式对关系抽取神经网络模型的参数进行更新；利用聚类方法从训练数据中挑选出一批记忆缓存；将更新后的参数载入到关系抽取神经网络模型，并进行性能测试。本发明将课程学习和元学习思想引入到增量关系抽取任务中，有效提升了模型的平均准确率和整体准确率，并降低了模型的误差范围，从而有效缓解了增量学习中的“灾难性遗忘”和“次序敏感”问题，在主流的数据集上取得了优于传统方法的效果。

技术领域

本发明属于计算机自然语言处理领域，具体涉及一种基于课程规划元学习的增量关系抽取方法。

背景技术

关系抽取是信息抽取领域的重要任务，目的在于从自然语言文本中抽取出指定实体对之间的语义关系。例如，在图1给出的例子中，“东南大学”和“南京”之间存在关系“位于”。关系抽取在知识图谱自动化构建、自动问答、文本挖掘等后续应用上具有广泛的应用场景。

传统的监督学习关系抽取方法在该任务上取得了较好的效果，并被广泛使用。然而，在实际使用场景中，知识图谱的构建往往是一个持续的，迭代更新的增量过程。新的关系类别将会被不断加入，这对关系抽取系统也提出了更高的要求，即需具有能够处理增量数据的能力。传统的监督学习关系抽取方法在这方面仍有局限性。

传统监督学习关系抽取方法是基于监督学习设定的，这一类方法在训练模型时往往需要预先定义所有可能的关系，并使用全量数据集进行训练。这使得传统关系抽取方法在面对新增数据时，需要使用包含增量数据的全量数据对分类模型进行重新训练，这将花费大量的算力和时间成本。部分模型具有可以处理新的关系类别的能力，如度量学习模型，但如果直接使用增量数据训练模型识别新类别，则会导致严重的“灾难性遗忘”问题，即一旦使用新的数据集去训练已有的模型，该模型将会失去对原数据集识别的能力，这也是增量学习中的一大挑战。

在增量学习关系抽取中，另一个重要的问题是“次序敏感”，即关系抽取的神经网络在更新迭代过程中，会持续地处理一系列的任务，每个任务包含不同的关系类别和训练数据。最终系统的性能表现不仅受到训练数据划分的影响，还很大程度上受到训练过程中各个任务的训练顺序的影响。这使得关系抽取系统的性能变得不稳定，这使得后续知识图谱的构建工作的质量难以把控。

发明内容

发明目的：为了克服现有技术中存在的不足，提供一种基于课程规划元学习的增量关系抽取方法，该方法以元学习为基础，创造性地加入了课程规划方法，能够较好地解决“灾难性遗忘”和“次序敏感”的问题。

技术方案：为实现上述目的，本发明提供一种基于课程规划元学习的增量关系抽取方法，包括以下步骤：

S1：构建课程规划元学习增量关系抽取框架；所述增量关系抽取框架包含关系抽取神经网络模型、记忆缓存列表、网络模型训练方法、元学习参数更新公式、记忆缓存筛选方法和记忆训练课程规划方法；

S2：计算关系间相似度，并根据相似度重新规划记忆缓存训练顺序；

S3：训练关系抽取神经网络模型，并结合元学习思想，使用元学习参数更新公式对关系抽取神经网络模型的参数进行更新；

S4：利用聚类方法从步骤S3中的训练数据中挑选出一批记忆缓存；

S5：将更新后的参数载入到关系抽取神经网络模型，并进行性能测试；

S6：重复步骤S3-S5，直至没有新的任务需要进行处理。

进一步地，所述步骤S3中元学习参数更新公式对关系抽取神经网络模型的参数进行更新具体为：将当前任务上的最优参数和上一个任务的参数代入元学习参数更新公式进行更新。

进一步地，所述步骤S4中记忆缓存的挑选方法具体为：