[发明专利]文本摘要生成方法、装置、设备和存储介质

说明书

本申请提出一种文本摘要生成方法、装置、设备和存储介质，本申请利用被样本摘要标注的样本文本对预训练Bert模型进行模型训练，并通过抽检的方式对训练过程中的检测模型进行能力检测，以及时将训练节点从糟糕的训练节点回退至较好的历史训练节点，进而通过回退操作纠正训练方向直至训练完成。本申请有效提升Bert在摘要模型上的表现能力的同时，尽量避免Bert模型在训练微调过程中发生灾难性遗忘等其他丧失本身基本功能的问题，保证了最后得到的已训练的摘要生成模型既保留了Bert模型原本的各种强大功能，也具有较好的摘要生成功能，进而保证生成的摘要具有较高的准确性和可读性。

技术领域

本申请涉及自然语言处理技术领域，尤其涉及一种文本摘要生成方法、装置、设备和存储介质。

背景技术

现有技术中，文章的摘要的获取方法包括抽取式获取摘要、RNN和 seq-to-seq模型或Transformer等生成式获取摘要。

传统的抽取式获取摘要主要由extractive(抽取式)方法来生成，抽取式的方法局限于在原始文本中寻找，得到的结果也是原始文本的段落。抽取式方法主要由三个主要步骤组成：句子重要性评估，句子的去重操作，对句子做长度的约束。句子的重要性可以采用tf-idf和textrank或者启发式规则来决定，大致方法为用textrank使用句子的相似度，以句子为节点构造无向有权边，不断权值更新迭代得到最适合。然而采用抽取式方法得到的文章的摘要有很多不足，例如，成句并不能够通顺、选取的目标词有歧义性等等。

在传统的生成式摘要中，研究人员用了RNN和seq-to-seq的序列模型。 RNN相比于抽取式的改进是，在RNN的序列模型中，有对隐状态的学习和建模，在一定程度上对输入文本进行隐语义的学习和训练。然而RNN本身的结构导致它不能对长语义进行捕捉，上下文的信息不能够在模型中进行传递。还有一个弊端是，在seq-to-seq的架构中，前序列的学习输出为一个低维的向量表示(当然通常情况下是一个1维的长向量)，这个向量是一个固定大小的向量，后序列根据前序列的输出向量进行学习。在程序中，由于这个向量是固定大小，对于特别长的文本会截取向量表达内容。这样会导致语义损失的问题。并且在整个seq-to-seq的过程中并没有对语义的重点进行学习的过程。

自从self-attention的机制提出，自然语言处理有了非常大的进展。 self-attention的机制使得encoder和decoder的输出都有对句子中词权重的学习，这样在向量表达中有了侧重点。同时输入也包括了句子中的位置信息，用于辅助句子中词权重学习。然而传统的transform只是一个单结构的 encoder-decoder的架构，网络层数并没有那么深，所以在一定任务上表现并没有那么好，且具有准确率不高、标注工作过于繁琐等问题。

发明内容

为了解决现有技术中提取或生成的摘要语句不通顺、语义损失或准确率不高的技术问题。本申请提供了一种文本摘要生成方法、装置、设备和存储介质，其主要目的在于训练出具有较好的生成摘要功能的摘要生成模型，保证生成的摘要具有较高的准确性和可读性。

为实现上述目的，本申请提供了一种文本摘要生成方法，该方法包括：

获取训练样本集，训练样本集包括使用样本摘要标注过的样本文本；

利用训练样本集对当前预训练Bert模型进行训练；

判断当前预训练Bert模型是否不为检测模型且不满足预设的训练终止条件；

若当前预训练Bert模型为检测模型，和/或，当前预训练Bert模型满足预设的训练终止条件，则对当前预训练Bert模型进行能力检测，得到能力检测结果，

根据能力检测结果判断是否执行训练节点回退操作，