[发明专利]一种图卷积网络增强的隐式篇章文本关系分类方法

权利要求书

1.一种图卷积网络增强的隐式篇章文本关系分类方法，其特征在于，包括以下步骤：

步骤1：对原始数据集中的电子文本及标注信息，进行预处理获得符号化表示，并且按照需求比例划分训练集、验证集和测试集；

步骤2：将训练样本与验证样本批量随机地输入图卷积网络增强的隐式篇章文本关系分类模型中，开始迭代模型训练过程，得到训练集与验证集上的评价指标，当验证集上的指标不再上升或者迭代达到一定次数后停止，保存验证集上的最优模型；

图卷积网络增强的隐式篇章文本关系分类模型具体包含以下子过程：

1）动态词向量表示：利用预先训练好的BERT模型，将文本中的每个字转化为具有上下文信息的对应的动态向量表示；

2）序列信息特征表示：对每条句子的序列信息进行建模；

3）句子对之间关系表示：融合两个句子对之间的一些重要短语或单词之间的关系；

4）关系分类：识别出每一对句子之间的关系类型；

所述关系分类具体为：采用两个分类器，分类器1对BERT的[CLS]位的输出特征进行分类，将[CLS]位对应的向量表示通过前馈神经网络及softmax层，转换为每种关系的概率分布P1；分类器2是将图卷积网络建模的句间关系的特征表示输入前馈神经网络和softmax层，转换成每种句间关系的概率分布P2；对P1和P2两个概率分布分别计算交叉熵损失然后求和，通过最小化损失和；按照上述步骤依次构建图卷积网络增强的隐式篇章文本关系分类网络后，将训练与验证样本随机批量的输入到网络中，并且利用随机梯度下降方法使网络逐渐学习最优的参数值，同时计算在验证集上的评价指标，当验证集上的指标不再上升或者网络训练迭代到一定次数后停止训练，保存验证集上表现最优的关系分类模型；

步骤3：加载保存的在验证集上评价指标最优的图卷积网络增强的篇章文本关系分类模型，将测试样本批量送入网络中，输出与保存分类的结果。

2.根据权利要求1所述的图卷积网络增强的隐式篇章文本关系分类方法，其特征在于，所述步骤1中的原始数据集需要包含相关的篇章文本与其对应的关系的标注结果；对含有隐式篇章关系的篇章文本与标注的预处理包括将文章中有隐式篇章关系的每对文本提取出来，并且与其关系对应，最终处理成一系列有序、固定格式、篇章级别的模型所需输入；最后，按照需求，划分训练集、验证集和测试集。

3.根据权利要求2所述的图卷积网络增强的隐式篇章文本关系分类方法，其特征在于：所述动态词向量表示具体为：将文本输入BERT模型之前，在句子1的前面加一个[CLS]位，在句子1和句子2之间以及句子2的最后各加一个[SEP]位，利用预训练好的BERT模型生成动态词向量，每个词都用一个连续的动态的稠密向量来表示，并且[CLS]对应的词向量包含了句子对的整体信息和句子对之间的关系信息。

4.根据权利要求3所述的图卷积网络增强的隐式篇章文本关系分类方法，其特征在于：所述序列信息特征表示具体为：采用了双向长短期记忆网络分别对任务中的每条句子进行序列建模。

5.根据权利要求4所述的图卷积网络增强的隐式篇章文本关系分类方法，其特征在于：所述句子对之间关系表示具体为：将序列信息特征的表示输入图卷积网络中，采用图卷积的方法来建模句子对的内部单词之间的关系；图卷积网络输出的每个单词的表示融合了句子对之间的词对信息，然后将两句话的所有单词的表示输入Pooling层，得到了图卷积网络建模的句间关系的特征表示。

6.根据权利要求1所述的图卷积网络增强的隐式篇章文本关系分类方法，其特征在于，所述步骤3的测试过程具体为先加载步骤2中训练好的关系分类模型，再将测试集中的样本批量输入到网络中，此时网络参数固定不变；经过网络计算后，得到每对句子之间的关系类型。