[发明专利]基于多任务学习的单文档摘要生成模型构建方法及装置

说明书

本发明公开了一种基于多任务学习的单文档摘要生成模型构建方法及装置，设计的模型结构采用了Transformer基础模型，并且在编码器的输出端，增加了一个编码器和分类器。其中两个编码器分为单词级别的解码器分别为，单词级别的编码器、句子级别的编码器；使得多任务训练成为可能；解码器的注意力分配会更加合理，因为加入根据解码器注意力权重与句子的重要性权重计算得到的正则项，能够倾向于更适合作为摘要的句子分配更多的权重；并且通过不同任务发掘模型潜力，从而提高了生成的摘要句子的可读性以及信息量。

技术领域

本发明涉及单文档摘要生成模型构建方法及装置，具体涉及一种基于多任务学习的单文档摘要生成模型构建方法及装置。

背景技术

随着大数据时代的到来，我们可以获得文本信息的数量飞速增长，互联网的蓬勃发展也拓宽了我们获得新颖、多样的文本内容的渠道。新闻媒体、社交网络等每天都在大量地输出海量的文本信息，这也不可避免地为人们造成了信息过载的问题。不仅如此，海量的文本信息中新颖的内容有限，并且存在着大量的冗余内容，而人们有限的精力无法处理海量的文本内容，或者从大量文本中甄别出于个人关心的、有价值的信息。因此从文本中抽取简洁明了的重要信息，提供给读者参考就成为了一种迫切的需求。但是为文章撰写摘要的过程十分枯燥，而且低效，将造成人力成本的浪费，这即是文本摘要任务的存在价值。我们可以通过文本自动摘要技术为原文档进行高效而准确的摘要，对原文档中的信息进行总结。

自动文本摘要技术按照作为输入的源文档的类型进行区分，可以分成单文档文本摘要和多文档文本摘要。自动文本摘要技术按照摘要句子的生成方式进行区分，可以分成抽取式文本摘要和生成式文本摘要。近年来，随着深度学习技术的进一步发展，深度学习模型也被广泛采用来应对自动摘要任务。基于深度学习抽取式摘要模型与生成式摘要模型可以方便地进行融合成为综合型模型，进一步更好地解决文档摘要问题。

现有技术中的“两阶段摘要模型”需要抽取式模型对于关键信息具有很好的识别能力以及编码能力，否则在抽取阶段就会损失重要信息。此外，还要求生成式模型有很好的句子压缩能力。而且抽取的操作是不可导的，梯度无法从生成模型的结果反向传播回抽取模型，因此训练时抽取模型和生成模型无法联合训练。

发明内容

本发明的目的在于提供基于多任务学习的单文档摘要生成模型构建方法及装置，用以解决现有技术中的单文档摘要生成方法存在的注意力分配不合理，模型泛化性能力差，生成的摘要句子的可读性差、包含信息量少的问题。

为了实现上述任务，本发明采用以下技术方案：

本发明与现有技术相比具有以下技术效果：

1、本发明提供的基于多任务学习的单文档摘要生成模型构建方法及装置中设计的模型结构采用了Transformer基础模型，并且在编码器的输出端，增加了一个编码器和分类器。其中两个编码器分为单词级别的解码器分别为，单词级别的编码器、句子级别的编码器；使得多任务训练成为可能；解码器的注意力分配会更加合理，因为加入根据解码器注意力权重与句子的重要性权重计算得到的正则项，能够倾向于更适合作为摘要的句子分配更多的权重；

2、本发明提供的基于多任务学习的单文档摘要生成模型构建方法及装置中改变了传统的训练方式，即使用多个训练目标来训练同一个模型，最终的模型依然是生成式自动摘要模型，加入抽取式摘要模型只是为了提升训练效果，通过不同任务发掘模型潜力，从而提高了生成的摘要句子的可读性以及信息量。

附图说明

图1为现有技术中传统Transformer模型的具体结构示意图；

图2为本发明的一个实施例中提供的基于多任务学习的单文档摘要生成模型结构示意图。

具体实施方式