[发明专利]一种基于Transformer的引导性文本摘要生成方法

说明书

本发明涉及一种基于Transformer的引导性文本摘要生成方法，属于信息处理技术领域。本发明结合深度学习算法和机器学习算法来解决大数据条件下自动获取文本摘要的问题。首先构建了一种文本关键语义特征提取方法，并用该方法来获取文本的关键语义特征。其次结合抽取式摘要方法将长文本转换为关键短文本，作为摘要模型的输入。最后利用提取的文本关键语义特征来构建基于Transformer的文本摘要生成模型。在摘要生成模型中，利用关键语义特征来修正注意力机制，使得生成模型能够生成较多富含关键信息的摘要内容，并增加了指针与覆盖机制，使得摘要生成模型能够更好地解决摘要生成过程中遇到的OOV问题与重复片段生成问题。

技术领域

本发明属于信息处理技术领域，涉及一种基于Transformer的引导性文本摘要生成方法。

背景技术

自动文本摘要是从原文本中提取出最关键的信息，进而来构建用户所需的重要性内容的过程。自动文本摘要方法指的是利用机器自动地从大量文本数据中概括出富含关键信息的简洁可读的摘要序列。目前，自动文本摘要从构建方式来看，主要包括生成式摘要与抽取式摘要两种。抽取式摘要是通过对原文本的所有句子利用一些统计的方法进行重要性排序，然后提取出重要性靠前的几个重要句子作为该文本的摘要。生成式摘要是指模仿人对文本内容进行深层语义理解，缩减该文本，最后形成一段简洁流畅，而且包含该文本中心思想的摘要。抽取式摘要方法基于文本中各句子之间的关联性，利用句子中词的位置以及词频等信息来评估关键词的重要性，进而通过这些关键词扩展到对应的句子。但是这种方式无法很好地捕捉到关键词之间以及句子之间深层次的语义关系，并且形成的摘要富含大量的冗余信息，同时有可能丢失较多的关键信息。

而利用深度学习的生成式摘要方法可以模拟人的思维来生成较为简洁流畅的文本摘要，但是针对不同的深度学习模型，文本摘要的生成存在着各种不同的问题，例如生成的摘要句子缺乏流畅性与可读性。其次，摘要无法捕获文本的中心，而且存在较多重复的文本。这就使得生成式文本摘要方法成为文本生成任务中一项重要的研究热点。

传统的基于循环神经网络(Recurrent Neural Networks，RNN)的Seq2Seq(Sequence to Sequence)框架在每一时刻只能输入一个词，计算效率较低，并且对长文本的依赖性较差。而Transformer模型是基于自注意力机制(Self-Attention)、残差机制以及前馈网络构建的编码-解码(Encoder-Decoder)结构，Encoder与Decoder的内部结构类似，主要由多头的注意力机制、残差连接、归一化和前馈层构成。在Transformer的模型训练中包括多个待训练参数，其中主要包括W^K，W^V，W^Q。Transformer的优点在于它能够实现并行化计算，计算效率较高，而且对于较长的文本序列具有较好的依赖性。除此之外，Transformer网络能够像RNN一样更好地理解文本序列的语义，在机器翻译以及文本摘要中具有较好的应用。

因此基于现有生成式摘要的理论研究，本发明基于Transformer，结合抽取式与生成式两种摘要生成方法，并利用本发明提取的文本关键语义特征方法来引导生成摘要，进而挖掘出原文本的深层语义特征信息，捕获原文本的中心内容，生成流畅可读的文本摘要。

发明内容

本发明提出了一种基于Transformer的引导性文本摘要生成方法，结合深度学习与机器学习算法构建了一种自动文本摘要生成方法。首先将TextRank算法与TF-IDF算法进行融合来获取文本的关键词，并结合抽取的命名实体来构建文本关键语义序列。其次结合抽取式摘要方法将较长的文本转换为短文本，进而利用深度学习方法Transformer构建摘要生成模型。实验分析以摘要数据集CNN/Daily Mail为例，来说明方法的有效性。

为实现上述目的，本发明采用如下的技术方案