[发明专利]双向GRU关系抽取数据处理方法、系统、终端、介质

说明书

本发明属于关系抽取技术领域，公开了一种双向GRU关系抽取数据处理方法、系统、终端、介质，对基准数据集SemEval‑2010Task 8进行预处理；通过EMLo预训练模型对语料进行词向量化；通过多头注意力机制对词向量进行初步去噪处理；使用Bi‑GRU网络对词向量进行编码，得到包含句子中上下文信息的隐藏层向量；将隐藏层向量作为输入，传递至关键词注意力层中，通过将隐藏层输出结合实体对相对位置特征以及实体隐藏相似度特征，计算出注意力权重；将经过注意力机制处理过的隐藏层向量输入至分类层，得到最终的关系抽取结果。实验结果表明，本发明提出的模型在没有任何其他NLP工具的情况下达到最先进的性能。

技术领域

本发明属于关系抽取技术领域，尤其涉及一种双向GRU关系抽取数据处理方法、系统、终端、介质。

背景技术

目前，关系抽取在自然语言处理领域占有重要的地位，它是问答系统、信息抽取、知识图谱等自然语言处理的核心任务和不可缺少的环节，同时关系抽取也是近年来的一个研究热点。关系抽取的任务是预测文本中两个标记实体之间的关系类型和方向。

基于深度学习的关系抽取方法主要是基于CNN，RNN网络来获取句子中的上下文信息，Zeng等人提出了一种使用深度卷积神经网络的模型来提取句子中的特征，Zhang等人提出了使用RNN来学习实体与实体间的长距离依赖性。CNN的目的是捕捉目标的局部和连续的上下文内容，而RNN则通过存储单元积累输入句子中的上下文信息。最近的研究中通常使用注意力机制来提升模型的性能，例如用于关系分类的基于注意力的双向长期短期记忆网络、通过基于注意力机制的分层递归神经网络进行语义关系分类等。

目前，基于注意力的神经网络模型致力于分辨句子的关键语义部分，并在许多NLP任务中取得了最新成果。SDP-LSTM使用长期短期记忆(LSTM)沿最短依赖路径(SDP)捕获特征，该模型是用于通过排名进行分类的卷积神经网络，并使用具有成对排名的损失函数进行训练。Xu等人提出的深度循环神经网络(DRNNs)模型将不相关的词从最短依赖路径中剔除，以此达到提升模型性能的目的，并且在模型中还使用了其它例如单词词性标签(pos)、上位词、同义词替换等额外特征。但与此同时，在关系分类的任务中，这种具有注意力机制的模型并没有充分利用数据集中的有关系表达的信息，而这些信息对实体分类任务具有提示作用，另外，最短依赖路径(SDP)、词性标签(pos)、上位词、同义词等特征都是依靠相关的NLP工具生成的语言特征，它们大多是有效的，有助于模型找到关键特征，但同时会导致模型受到工具产生的错误影响，并大大增加模型的计算工作量。

通过上述分析，现有技术存在的问题及缺陷为：在关系分类的任务中，现有具有注意力机制的模型并没有充分利用数据集中的有关系表达的信息；同时，现有模型使用其他处理工具会导致模型受到工具产生的错误影响，并大大增加模型的计算工作量，提高了模型的计算时间；并且传统的词向量模型并不能准确的表现出句中出现的大量的一词多义；在提取文本信息的网络层中，现有的模型使用的LSTM网络参数量过多，在一定程度上加大了模型过拟合的风险，并且增加了模型的计算量，致使计算时间变长。

解决以上问题及缺陷的难度为：需要对模型的注意力机制进行优化及调整从而在不使用任何工具的情况下达到充分利用文本中有关系表达单词以及实体词的效果，以提高模型的性能，并且避免使用工具从而对模型带来错误累积；需要使用具有一词多义能力的词向量模型；在文本提取的网络层中，需要使用参数量更少的、更快速的、同性能的网络，以提高模型的运行效率。

解决以上问题及缺陷的意义为：关系抽取任务是知识图谱构建的不可或缺的重要步骤，关系抽取模型的研究以及优化具有十分重要的应用前景以及理论意义，可以为自然语言处理领域的多种应用提供更先进的支持。

发明内容

针对现有技术存在的问题，本发明提供了一种双向GRU关系抽取数据处理方法、系统、终端、介质，具体涉及一种基于关键词注意力的双向GRU关系抽取数据处理方法。

本发明是这样实现的，一种基于关键词注意力的双向GRU关系抽取数据处理方法，包括以下步骤：