[发明专利]一种面向句子级别的关系抽取方法、设备及存储介质

说明书

本发明公开了一种面向句子级别的关系抽取方法、设备及存储介质，包括获得一个句子，在每个实体的两端分别插入特殊标记，输入预训练语言模型得到该句子每个词的词向量；使用随机初始化的多个关系向量分别对每个词向量计算相关度，进一步计算二分类损失；使用平均池化计算句子向量、实体向量，使用最大池化计算关系向量，将这些特殊输入多分类器得到多分类损失；将句子中的实体一定概率掩藏得到另外一个句子，衡量两个句子输出分布的一致性损失；对上述步骤中的所有损失联合训练。本发明能够有效抽取文本中的关键信息，捕捉文本中实体的联系，从而达到良好的关系抽取性能。

技术领域

本发明涉及自然语言处理领域，具体涉及一种面向句子级别的关系抽取方法、设备及存储介质。

背景技术

近年来，人工智能已经成为新一轮科技革命和产业变革的重要驱动力量，而自然语言处理(NLP)作为人工智能的一个重要研究方向，是实现人工智能从感知到认知的关键。关系抽取是自然语言处理领域中一个核心任务，主要实现对文本中实体对之间表达的语义关系的抽取和识别，同时也是构建知识图谱的基础，被广泛应用于信息检索，机器阅读理解、人机对话、个性化推荐、智能搜索等领域，随着深度学习在人工智能领域的广泛应用，研究结果已经表明深度学习利用大量数据能捕获到有效的特征信息，许多研究人员也将深度学习技术应用于关系抽取，并且相比于传统手工抽取特征的方法取得了明显的进展。

由于文本表达的多样性，关系抽取是一个复杂且难以解决的任务，对实体对之间的关系抽取很大程度依赖于模型对文本中语义的理解能力，这在自然语言处理中也极具挑战。随着深度学习的发展，目前基于深度学习方法的关系抽取可以分为两类：一类是基于卷积神经网络和循环神经网络等传统神经网络的模型，受限于模型规模和训练数据难以获取，这类模型只能取得有限的效果；另一类则是基于预训练语言模型(如BERT，GPT)的关系抽取模型，预训练模型最早是在图像领域被提出的，利用大量训练数据学习得到丰富的知识，再结合迁移学习迁移到其他神经网络以得到更好的效果。大量实验结果表明预训练语言模型已经在许多自然语言处理任务上领先于传统神经网络。

尽管国内外已经有许多研究人员基于预训练语言模型完成关系抽取这个任务，但是根据一些实验结果表明，预训练语言模型仍然存在改进空间，并且仍然存在很多潜力有待挖掘。在关系抽取甚至整个自然语言处理领域中，已经存在大量对词向量的研究，毋庸置疑，词向量的质量关乎模型性能表现，然而标签(关系)中丰富的语义信息却鲜有人发掘利用。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供一种面向句子级别的关系抽取方法、设备及存储介质，具体涉及基于关系嵌入的注意力机制的关系抽取方法。本发明利用关系中丰富语义信息加强对文本中关键信息的提取，从而实现更好关系抽取性能。

本发明采用如下技术方案：

一种面向句子级别的关系抽取方法，包括如下：

获得一个句子，所述一个句子包括两个实体，在每个实体的两端分别插入特殊标记，输入预训练语言模型得到该句子每个词的词向量；

使用随机初始化得到关系嵌入，分别与每个词的词向量采用点积注意力机制得到其相关程度，进一步得到句子的注意力表示集合，将该集合中的每个向量输入二分类器得到预测结果，计算二分类损失；

基于注意力表示集合利用最大池化计算得到关系向量，利用平均池化得到句子向量，两个实体向量，将上述四个向量进行拼接输入多分类器获得多分类损失；

将句子中的两个实体按照预先设定概率进行掩藏，获得另外一个句子S’；对另外一个句子重复上述步骤获得二元损失和多元损失，进一步获得两个句子预测结果的一致性损失；

对二元损失、多元损失、一致性损失进行联合训练，当损失最小值时获得关系抽取模型。

进一步，所述获得一个句子，所述一个句子包括两个实体，在每个实体的两端分别插入特殊标记，具体为：