[发明专利]一种基于端到端神经网络的指代消解方法

说明书

本发明提供一种基于端到端神经网络的指代消解方法，该方法通过对知识库的抽取，解决了在代词消解问题中训练数据不足的问题，同时考虑了代词在句子中的结构信息，抽取出一系列特征用于训练深度神经网络，使得模型个具有代词消歧的能力。

技术领域

本发明涉及自然语言处理领域，更具体地，涉及一种基于端到端神经网络的的指代消解方法。

背景技术

深度学习(Deep Learning)：深度学习是由Hinton等人于2006年提出，是机器学习的一个新领域。深度学习被引入机器学习使其更接近最初目标----人工智能。深度学习是学习样本数据的内在规律和表示层次。这些学习过程中获得的信息对图像、文字等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别图像、文字等数据。

循环神经网络(Recurrent Neural Networks，RNN)：循环神经网络是Jordan，Pineda.Williams，Elman等神经网络专家于上世纪80年代末提出的一种神经网络结构模型。这种网络的本质特征是在处理单元之间既有内部的反馈连接又有前馈连接。从系统观点看，它是一个反馈动力系统，在计算过程中体现过程动态特性，比前馈神经网络具有更强的动态行为和计算能力。目前，循环神经网络已在机器翻译、语音识别、图像描述生成等领域广泛应用并获得极大成功。

Skip-Gram模型：Skip-Gram是一种自然语言模型，是用上下文来预测中心词，即输入是特定的一次词的词向量，而输出是特定词对应的上下文词向量。

在ACL2016举行的机器翻译的比赛中(WMT16 Shared Task)，其中一项是跨语言代词预测任务，在翻译系统中，往往不能很好翻译代词，不同语言中，代词语法具有较大的差异，任务要求源一个句子中的目标语言代词。目前主要有两种方法，第一个是解决文本对应词语以及使用相关的句子信息来帮助预测代词，如提取句子的特征信息，用最大熵来预测。第二个方法更多的依赖于上下文信息，如用代词上下文的特征的支持向量机，基于上下文名词短语特征的朴素贝叶斯分类器，用神经网络方法来处理前面的名词短语特征。

威诺格拉德模式挑战赛(Winograd Schema Challenge)是图灵测试的一个变种，旨在判定AI系统的常识推理能力。参与挑战的计算机程序需要回答一种特殊但简易的常识问题，即代词消歧问题，可是此项任务并没有提供可训练的数据，所以有参赛者用了知识库的来提取特征表示，即用分布式词向量来解决代词消解问题。

发明内容

本发明提供一种基于端到端神经网络的的指代消解方法。

为了达到上述技术效果，本发明的技术方案如下：

一种基于端到端神经网络的的指代消解方法，包括以下步骤：

S1：基于知识库的词向量通过WikiPedia和CBTest这两个数据集训练得到，提取知识库不等式；

S2：建立skip-gram权重矩阵；该权重表达了基于知识库的分布式词向量网络的全部内容；

S3：训练深度神经网络，网络的输入为句子提取的特征映射的低维空间的向量。

步骤S1中，提取wikipedia数据，制定知识库抽取的不定式关系：

关系如下：

ConceptNet：

(w _k∈V和w_kis not linked with w_h)

WordNet：

同义词反义词规则：同义词之间的相似性比反义词的相似性高；