[发明专利]一种基于异构图transformer的单文档文本摘要系统

权利要求书

1.一种基于异构图transformer的单文档文本摘要系统，其特征在于：包括编码层、图更新层和句子选择层；

先通过编码层对句子和词语进行编码，然后，异构图层通过HGT模型来更新句子结点和词语结点的间的语义表示，最后，句子选择层通过句子结点的语义表示来抽取摘要。

2.根据权利要求1所述的一种基于异构图transformer的单文档文本摘要系统，其特征在于：所述编码层：使用HSG模型中编码层，用表示词语结点语义表示矩阵，表示句子结点的语义表示矩阵；先对句子中包含的词语语义表示，使用不同大小卷积核CNN捕获其中临近词的语义得到融合周围结点语义表示矩阵，通过池化层得到句子的语义表示c_j，使用BiLSTM得到句子的语义表示b_j，将BiLSTM和CNN得到的结果拼接，得到句子最终的语义表示S_j＝[c_j；b_j]；直接使用Glove训练的300维词嵌入作为词语结点的语义表示。

3.根据权利要求2所述的一种基于异构图transformer的单文档文本摘要系统，其特征在于：所述HGT模型包括注意力信息、传递信息和信息融合；

1)注意力信息：

在HGT更新结点的语义表示的过程中，为了避免结果过拟合，使用多头注意力机制来计算源结点和更新结点间的注意力权重，计算公式为：

公式中ATT-headⁱ(s，e，t)表示多头注意力机制中第i个更新头，其中s为源结点，t为更新结点，e为对应的边的特征；根据不同的边的关系来计算源结点和目标结点间的相关性；多头注意力中的第i头的计算公式，计算公式为：

其中，Kⁱ(s)表示源结点的线性变换，Qⁱ(t)表示更新结点线性变换后的向量，表示可训练的注意力权重，μ＜τ(s)，φ(e)，τ(t)＞根据不同注意力头和不同结点对设置的可训练参数，d表示更新结点线性变换后的维度；

2)传递信息：

更新信息从源结点传递到更新结点，为了计算更新结点的注意力，需要根据边的类型e＝(s，t)对更新结点进行语义抽取；计算公式为：

对τ(s)类型的源结点在第l-1时刻的语义表示向量H^(l-1)[s]进行线性变换后的向量；

3)信息融合：

根据不同的结点对，使用对应结点对计算出的注意力信息Attention_HGT(s，e，t)作为权重乘以语义抽取的结果Message_HGT(s，e，t)后求和，得到更新结点的更新向量计算公式为：

这个向量是更新结点t根据不同边特征的源结点更新后得到的特征向量；最后一步是对更新结点进行残差连接，以防止出现梯度消失；先对τ(t)类型的更新结点的更新信息使用激活函数，在进行线性变换A-linear_τ(t)，最后和τ(t)在l-1时刻的更新结点的语义表示进行残差连接，计算公式为：

得到更新后的句子结点的语义表示向量。

4.根据权利要求3所述的一种基于异构图transformer的单文档文本摘要系统，其特征在于：所述HGT模型改进为，由于在图模型更新过程中结点的语义表示中缺少位置信息，故在更新过程中在结点的语义表示中加上位置编码；分别在源结点和更新结点的输入的语义表示中加入可训练的位置编码分别为p_s和p_t；计算公式为：

5.根据权利要求4所述的一种基于异构图transformer的单文档文本摘要系统，其特征在于：所述句子选择层为：模型需要从异构图更新后的句子节点中抽取出摘要，使用交叉熵作为损失函数。