[发明专利]一种基于多层注意力机制的远程监督关系抽取方法

说明书

本发明涉及一种基于多层注意力机制的远程监督关系抽取方法，属于人工智能和自然语言处理技术领域。本方法为了解决现有的远程监督关系抽取方法在噪声环境下抽取效果差、忽略对句子包的噪声处理以及句子中实体重复出现等技术问题，针对句子中实体对重复出现的情况，设计一种相对位置特征注意力，充分利用实体对的位置信息。针对句子包噪声问题，通过计算每个句子包的置信度，根据置信度将具有相同关系的噪声大的句子包和噪声小的句子包组合成包组，使得包组间的噪声相对平衡，提高噪声环境下关系抽取的效果。

技术领域

本发明涉及一种远程监督关系抽取方法，具体涉及一种基于多层注意力机制的远程监督关系抽取方法，属于人工智能和自然语言处理技术领域。

背景技术

信息抽取(Information Extraction)，是自然语言处理中的一项基本任务，通过对非结构化文本进行处理抽取结构化信息，作为后续自然语言处理任务的输入。在知识爆炸的时代，人们每天都需要面对海量数据，合理利用信息抽取系统高效地处理文本提取有用的信息就变得极为重要。

信息抽取作为自然语言处理中极为重要的一环，本身也是由一系列子任务构成的，例如命名实体识别、关系抽取和事件抽取等。其中，关系抽取(Relation Extraction，RE)是信息抽取的一项关键技术，其目的是挖掘实体间存在的语义关系，对于知识库自动构建、问答系统等领域有着极为重要的意义。

远程监督关系抽取(Distant Supervision Relation Extraction，DSRE)，是通过外部知识库代替人工对语料进行标注，能够低成本地获取大量标注数据，是目前主流的关系抽取方法。

在知识库中，有大量形如“实体1，实体2，实体1、2关系”的三元组，远程监督将一个无标注语料库对齐到已知的知识库，知识库中的每一条三元组都对应一个句子集合，这种句子集合称为包(Bag)。包中的句子都是从无标注语料库中获得，且同一个包中的句子都含有相同的实体对(即对应三元组中的两个实体)。远程监督关系抽取假设包中的每一个句子都具有对应实体对的关系，这使得在获得大量标注数据的同时，也引入了大量的噪声即错误标注的数据。另外，为了更好的捕获句子中单词对实体对的影响，相对位置特征应用于关系抽取模型中，相对位置特征是指句子中每个词语与实体对的相对距离。

但是，已有的远程监督关系抽取方法忽略了句子包的噪声，同时，存在着实体对在句子中重复出现等技术问题。

发明内容

本发明的目的是为了解决现有的远程监督关系抽取方法在噪声环境下抽取效果差、忽略对句子包的噪声处理以及句子中实体重复出现等技术问题，创造性地提出一种基于多层注意力机制的远程监督关系抽取方法。

本方法的创新性在于：针对句子中实体对重复出现的情况，设计一种相对位置特征注意力，充分利用实体对的位置信息。针对句子包噪声问题，通过计算每个句子包的置信度，根据置信度将具有相同关系的噪声大的句子包和噪声小的句子包组合成包组，使得包组间的噪声相对平衡。

本方法采用的技术方案如下：

一种基于多层注意力机制的远程监督关系抽取方法，包括以下步骤：

S1：获取知识库，将知识数据集中的句子按包进行划分。

S2：获取句子的矩阵表示。

S3：通过句子编码器，获取句子的特征向量。

S4：通过位置特征注意力，得到句子的权重性向量表示。

S5：通过句子注意力，得到包的向量表示。

S6：将数据集的包组合成包对。

S7：获取每一个包对的向量表示。

S8：获取包对的损失值。