[发明专利]一种基于异构图transformer的单文档文本摘要系统

摘要

本发明涉及一种基于异构图transformer的单文档文本摘要系统，属于自然语言处理领域。一种基于异构图transformer的单文档文本摘要系统，包括三部分：编码层、图更新层和句子选择层；先通过编码层对句子和词语进行编码，然后，异构图层通过HGT模型来更新句子结点和词语结点的间的语义表示，最后，句子选择层通过句子结点的语义表示来抽取摘要。本发明在图更新层，采用HGT方法来更新结点间的语义，可以融合更深层次的语义，进而可以提高模型对摘要抽取的准确率。在图更新层加入可训练的位置编码，可以在图模型中加入文本的顺序信息，该方法可以进一步提高模型训练过程的收敛速度。