[发明专利]一种基于异构图transformer的单文档文本摘要系统

说明书

本发明涉及一种基于异构图transformer的单文档文本摘要系统，属于自然语言处理领域。一种基于异构图transformer的单文档文本摘要系统，包括三部分：编码层、图更新层和句子选择层；先通过编码层对句子和词语进行编码，然后，异构图层通过HGT模型来更新句子结点和词语结点的间的语义表示，最后，句子选择层通过句子结点的语义表示来抽取摘要。本发明在图更新层，采用HGT方法来更新结点间的语义，可以融合更深层次的语义，进而可以提高模型对摘要抽取的准确率。在图更新层加入可训练的位置编码，可以在图模型中加入文本的顺序信息，该方法可以进一步提高模型训练过程的收敛速度。

技术领域

本发明属于自然语言处理领域，涉及一种基于异构图transformer的单文档文本摘要系统。

背景技术

文本摘要是自然语言处理的核心技术之一，是目前解决信息过剩问题的一种辅助手段，能够帮助人类更加快速、准确、全面地从自然语言文本获取关键信息，在工业和商业方面都具有重要的实用意义。文本摘要技术涉及到语言理解、文本分类、摘要生成等复杂技术，因而面临着诸多挑战。

抽取式文本摘要认为文档的主题思想可通过文章中一句或几句话来代替。传统的抽取式文本摘要技术往往采用基于统计和规则的方法来得到摘要，通过计算文本中句子的相似性对句子进行排序，然后在抽取文本摘要。优点是不需要进行复杂计算，通用性较强，句子的语法错误较少，缺点是准确率较低，，比如LexRank和TextRank。2014年，KagebackM等人首次使用深度学习方法完成抽取式文本摘要任务，该方法通过计算不同句子间语义表示的相似度，并采用次模函数优化选择合适的句子作为摘要。Cheng和Lapata等人于2016年提出一种基于Seq2Seq的通用自动摘要框架，采用层次文档编码器和注意力机制抽取文本摘要句。同年，Cao等人针对查询式摘要任务，提出了一种融合査询信息的注意力机制。2017年，LiP等人提出了一种基于等比序列的编码解码器模型DRGN，采用神经变异推理对复发性潜伏期变量进行后验推理。在不同语言的数据集上证实，该方法表现出良好的性能。2018年，Bennani等人提出了一种使用句子嵌入的简单无监督关键短语抽取模型，在单文本中采用嵌入排序抽取关键短语，该模型在F1得分上有了进一步提高。2019年，BouscarratL等人提出基于句子嵌入的高效抽取式摘要模型，该模型通过利用向量空间的语义信息进行信息抽取。2020年Wang等人根据图注意力模型提出HSG模型，该方法构建提取文档摘要异构图网络来建模句子之间的关系，而无需预先训练语言模型。随着图模型的广泛应用，图模型如何和文本摘要任务相联系，最近的工作已经做了初步的探索。

当前技术问题为：

(1)当前基于图模型的文本摘要，存在融合周围结点的语义不足的问题。

(2)文本摘要对位置信息比较敏感，但当前存在图模型中位置信息不足的问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于异构图transformer的单文档文本摘要系统。

为达到上述目的，本发明提供如下技术方案：

一种基于异构图transformer的单文档文本摘要系统，包括三部分：编码层、图更新层和句子选择层；

先通过编码层对句子和词语进行编码，然后，异构图层通过HGT模型来更新句子结点和词语结点的间的语义表示，最后，句子选择层通过句子结点的语义表示来抽取摘要。