[发明专利]一种基于神经网络的图书概念前后序关系抽取方法

说明书

本发明公开了一种基于神经网络的图书概念前后序关系抽取方法。首先，基于图书文本，构建含有概念节点和章节节点的图结构。再利用图书文本，提取概念对之间的特征。之后，利用图书文本构建的图结构和概念对特征训练神经网络模型，形成概念前后序关系抽取器。最后，将需要抽取概念前后序关系的图书文本构建成图结构并输入抽取器中，即可得到该图书中概念之间的前后序关系。本发明方法具有良好的可扩展性，针对不同领域，只需使用不同领域的较少图书，构建图结构，提取概念词间特征，并将它们作为输入训练抽取器，即可实现在不同领域自动判断概念之间的前后序关系。

技术领域

本发明涉及图书概念抽取领域，尤其涉及一种基于神经网络的图书概念前后序关系抽取方法。

背景技术

随着互联网教育资源的普及，人们可以接触到非常丰富的教育资源，尤其是图书资源。任意一个领域往往都涉及到众多的概念。为了提升学习效率，优化学习路径，可以利用人工智能技术辅助抽取概念之间的前后序关系，以帮助人们更快更好地理解某领域概念之间的依赖关系。

然而，图书文本中拥有许多章节文本，也包含许多概念词。概念与概念、概念与章节之间有着多样而复杂的关系，也蕴含着丰富的信息。另一方面，概念与概念之间也存在着大量的统计特征，这些都可以用来辅助判断概念之间的前后序关系。

鉴于此，我们一方面基于图书文本构建图结构，使用图卷积网络整合概念与概念、概念与章节之间的交互关系，再用孪生网络对概念的前后序关系进行预测。另一方面，我们也抽取并利用概念之间的统计特征来帮助判断概念之间的前后序关系。

发明内容

本发明的目的在于提供一种基于神经网络的图书概念前后序关系抽取方法，从而方便人们更快更好地理解某个领域概念之间的依赖关系。

本发明解决其技术问题采用的技术方案如下：一种基于神经网络的图书概念前后序关系抽取方法，包括以下步骤：

1)图结构的构建：基于图书文本，构建含有概念节点和章节节点的图结构。将图书文本中的概念和章节作为图结构的顶点，分别计算概念对之间的PMI值，概念在章节中的TF-IDF值，以及章节对在图书中的距离，作为图结构中对应顶点之间的边的权重，得到图结构。

2)概念对特征的提取：利用图书文本，提取概念对之间的语义和结构特征，并表达成一个特征向量，用于之后神经网络模型的训练。

3)构建神经网络模型：将步骤1)得到的图结构和步骤2)提取的特征向量作为神经网络模型的输入。首先进行图卷积操作，得到章节节点和概念节点的隐层向量。将每一对概念节点的隐层向量输入到孪生网络，再使用Sigmoid函数得到每一对概念节点之间具有前后序关系的预测概率，再计算预测概率与概念对的前后序关系的真实标签的交叉熵，作为第一部分损失函数。将每一对章节节点的隐层向量输入孪生网络，再使用Sigmoid函数得到每一对章节节点之间具有前后序关系的预测概率，再计算预测概率与章节对的前后序关系的真实标签的交叉熵，作为第二部分损失函数。将步骤2)中提取到的概念对之间的特征向量经过一个全连接层，再使用Sigmoid函数得到每对概念之间具有前后序关系的预测概率，再计算预测概率与概念对的前后序关系的真实标签的交叉熵，作为第三部分损失函数。将三部分损失函数加权求和作为神经网络模型的损失函数。

4)抽取概念前后序关系：步骤3)构建的神经网络模型经过训练之后得到概念前后序关系的抽取器。将一本图书的文本进行分词、去停用词等预处理之后，再构建图书文本对应的图结构，并提取图书文本的概念对之间的特征向量，然后作为输入传入抽取器，抽取器将输出图书文本的概念对之间是否具有前后序关系。

进一步地，步骤1)具体为：