[发明专利]基于关系图注意力神经网络的事件时序关系识别方法

说明书

本发明公开了一种基于关系图注意力神经网络的时序关系识别方法，该方法主要包括以下步骤：首先对事件句进行依存关系分析，获取相关的依存树；然后使用一种图递归构建策略将依存树转化为时序图；随后利用关系图注意力神经网络对时序图进行信息更新，获取时序图中每个节点的隐藏状态；最后从节点隐藏状态集合中提取出有关触发词的隐藏状态和句子表示向量，并将其放入到softmax函数中实现事件时序关系识别。本发明能够有效处理长距离非局部语义信息，捕获融合深层次的隐藏信息，显著提升了事件时序关系识别的准确度。

技术领域

本发明涉及自然语言处理领域，具体涉及一种基于关系图注意力神经网络的事件时序关系识别方法。

背景技术

事件时序关系识别是当前颇具挑战的一个自然语言处理任务，它能够帮助我们细致分析一些错综复杂的数据信息，并推动了许多下游任务的发展，比如信息检索、关系预测等。事件时序关系识别任务旨在探究不同事件句中的不同事件间的时序关系，并采用触发词表示被提及的事件。触发词通常是事件句中的一个或者多个连续的动词。下面是取自TimeBank-Dense语料的一个示例，描述了事件时序关系“BEFORE”,即事件“invite”发生在事件“visit”之前。

事件句1：The main positive for Castro to invite the Pope isinternational,this government is not as closed,as intolerant,as totalitarianas some make it out to be。

事件句2：One of the scenarios widely advanced before the visit is thatthrough the Pope,Cuba,still led by Castro,can begin a more productiverelationship with the world。

较早的事件时序关系识别方法普遍采用机器学习的方法，通过人工标注的句法、词性等特征并结合SVM等模型进行时序关系分类。但是频繁的人工标注造成了时间成本骤增，不适合大规模系统的应用。一些知识库的构建降低了时间成本，但识别性能仍得不到本质的提升。

近几年，深度学习技术发展迅猛，CNN和RNN等模型均在不同任务中取得了不错的效果，一些研究者开始将其运用在事件时序关系识别任务中。通过对事件句进行语义依存分析，然后截取最短依存路径，并利用Bi-LSTM等模型进行表示学习，时序关系识别性能得到较高提升。但是当前的大多方法普遍基于顺序模型，不能有效处理长距离非局部语义信息，容易造成部分重要的深层次隐藏语义信息被丢失遗忘，导致事件时序关系整体识别性能的降低。

发明内容

本发明提供了基于关系图注意力神经网络的事件时序关系识别方法，旨在解决当前较多方法存在的难以有效处理长距离非局部语义信息并遗漏丢失部分重要的深层次隐藏语义信息的问题。

本发明的技术方案如下：

Step1：时序图构建。

首先对事件句对进行语义依存分析，获得两个依存树。针对每个依存树，查找触发词所处位置，并以触发词以起点，递归查找它的相邻节点，直到p跳的相邻节点为止，并保留该阶段内被查找的节点，其中p为递归次数。

为了加强事件句对间的语义联系和长距离分词间的语义表示，后期加入了一些人工构造的边。为了简化操作和提升运算能力，本方法放弃了具体定义的依存关系，使用抽象的关系类型表示分词间的联系，定义的关系类型如下：

Depend-Head类型边：通过依存分析工具获得的边。

Head-Depend类型边：新定义的边，与Depend-Head类型边方向相反。

Self-Loop类型边：新定义的边，该边指向分词本身。