[发明专利]基于跨度共享和语法依存关系增强的情感三元组抽取方法

权利要求书

1.基于跨度共享和语法依存关系增强的情感三元组抽取方法，其特征在于：包括以下步骤：

一、通过编码器层获得特征表示；

二、通过依赖图神经网络层增强语义表示；

三、生成跨度并对过滤掉无效跨度；

四、通过情感分类器完成分类。

2.根据权利要求1所述的基于跨度共享和语法依存关系增强的情感三元组抽取方法，其特征在于：步骤一中，选择BERT双向编码表征作为核心主干来学习上下文语义的表示；

给定一个输入句子S，在句子的开头添加cls全局上下文语义表征，在句子的末尾添加[SEP]句子结束标记，然后将序列S_x＝{x_cls,x₁,...x_i,...,x_n,x_sep}输入到BERT模型中；这些单词输入到BERT模型中得到单词的嵌入序列最后，得到输出的hidden layer隐藏层表示特征

其中BERT(*)是cased-base-BERT模型，hidden layer隐藏层为12层。

3.根据权利要求2所述的基于跨度共享和语法依存关系增强的情感三元组抽取方法，其特征在于：步骤二中，使用Standford-NLP工具来获得评论语句的句法依存关系树，根据输入句子的依存关系树的连接情况将依存关系树转化为一个M阶图结构，其中节点表示每一个词，边表示词之间的关系；M阶图结构可以表示为N*N的邻接矩阵A_ij；当两个单词节点之间存在连接或者是单词本身时，将相应的邻接矩阵的值设置为1；否则，将其设置为0；公式如下：

得到相应的邻接矩阵后，将其输入到GCN图卷积网络中；对于l层的节点i，特征表示作为输入，输出具有方面词和意见词之间的特征表示，定义如下：

其中RELU为线性整流函数，W^l是GCN第l层的训练权重，b^l是当前权重的偏移值。

4.根据权利要求3所述的基于跨度共享和语法依存关系增强的情感三元组抽取方法，其特征在于：步骤三中，将输出和BERT输出的隐藏层表示特征进行拼接，然后通过跨度生成器将h_j映射到不同的跨度；

跨度Sp_i＝{Index_start,Index_{start 1},…,Index_end}中的Index_start表示索引的开始，Index_end表示索引的结束；Index_end-Index_start≤L_s，其中L_s是跨度长度；

引入词嵌入E_k，并为每个跨度分配了一个固定大小的嵌入，其中k是嵌入维度；词嵌入E_k通过反向传播获得，是用于词嵌入的矩阵；此时跨度被重新定义为以下形式：

其中：表示连接符号；h_start和h_end分别表示当前开始位置和结束位置的特征值，f表示最大池化函数；

跨度生成器中存在无效跨度，将无效跨度分类为Invalid类，并使用跨度分类器过滤掉分配给Invalid类的所有跨度；

将全局上下文语义特征cls与跨度进行最大池化的融合；

通过一个线性层Linear进行分类：

L_sp＝Linear(W^sp(Sp_i:cls)+b^sp)；

其中W^sp的形状由隐藏层的大小和嵌入层E_k的维度所决定，b^sp是偏移量；L_sp表示线性层的输出结果；

最后，通过softmax归一化指数函数对输出的结果进行归一化：

y_sp表示模型预测跨度中包含方面术语和观点术语的概率，是一个归一化的值[0-1]；

通过交叉熵损失函数来判断实际输出与预期输出之间的接近程度：

概率分布p是模型预测的概率分布，概率分布q是实际样本的概率分布。