[发明专利]文本摘要生成系统

说明书

本发明涉及一种文本摘要生成系统，涉及互联网技术领域，包括文本编码器，利用一种层次化多尺度抽象建模方法从原始文本中捕获多层次、多尺度的语义信息；动态记忆增强注意力网络，用于动态追踪注意力历史与提取文本中重要信息，提升解码器生成精炼、准确摘要的能力；摘要解码器，利用单向长短期记忆网络逐词生成完整的文本摘要，克服无法有效地定位当前解码时刻所对应的合理原始文本上下文信息，导致生成的文本摘要通常包含重复信息或者缺少关键信息。

技术领域

本发明涉及互联网技术领域，尤其涉及文本摘要生成系统。

背景技术

自动文本摘要是近年来学术界和工业界的研究热点之一，因其广阔的应用场景以及巨大的商业价值而备受瞩目。现有文本摘要技术大致可以分为抽取式文本摘要和生成式文本摘要：(1)抽取式文本摘要方法从原始文本或者是文档集合中直接选取若干包含关键信息的语句直接构成摘要总结。抽取式文本摘要的优点在于生成的摘要文本合理可控、通顺度较好且不容易生成完全偏离原始文本主题的摘要。但是抽取式文本摘要技术也有其固有弊端，即容易引入冗余信息，且句子之间的连贯性差；(2)生成式文本摘要方法则使用阅读理解、自然语言生成等技术，生成更加简明凝练的文本摘要。与抽取式文本摘要相比，生成式文本摘要涉及对原始文档的理解和重构，更符合人类撰写摘要的习惯，有着简洁、灵活、多样性等特点。

基于注意力机制的指针生成网络模型(Pointer Generator network)是当前应用最广泛的生成式摘要模型，也是与本发明最相近似的技术方案。指针生成网络模型在编码端(Encoder)引入长短期记忆神经网络(Long short-term memory,LSTM)将原始文本编码成固定长度的特征表示向量，并在解码器端(Decoder)利用另一个长短期记忆神经网络将编码器输出的文本特征向量解码成文本摘要。同时，指针生成网络模型的解码器部分通过引入对编码文本的注意力机制(Attention Mechanism)，计算输入文本的上下文信息，进而生成上下文向量，在增加每个解码时刻的信息覆盖率的同时生成更加合理的摘要文本。

虽然现有的基于神经网络的生成式文本摘要模型已取得较为显著的成果，却仍然存在着许多缺点。首先，对于编码器而言，原始长文本序列通常包含了多层次、多尺度的语义信息。例如，一篇文章可以包含多个不同的主题，同时这些主题所覆盖的文本范围不同。因此，为了建模和理解原始文本中多层次、多尺度的语义信息，编码器需要利用层次化多尺度文本挖掘方法分层级地编码文本信息。然而现有的生成式文本摘要方法并没有对文本的层次化多尺度语义信息编码进行深入探索。其次，在解码端，传统注意力机制无法动态地追踪先前解码时刻的历史注意力分布。因此，在进行长文本的摘要生成时，传统注意力机制无法有效地定位当前解码时刻所对应的合理原始文本上下文信息，导致生成的文本摘要通常包含重复信息或者缺少关键信息。

发明内容

本发明提供一种文本摘要生成系统，目的是为了克服无法有效地定位当前解码时刻所对应的合理原始文本上下文信息，导致生成的文本摘要通常包含重复信息或者缺少关键信息。

为解决以上现有技术中存在的问题，本发明提出了一种文本摘要生成系统，包括：

文本编码器，利用一种层次化多尺度抽象建模方法从原始文本中捕获多层次、多尺度的语义信息；

动态记忆增强注意力网络，用于动态追踪注意力历史与提取文本中重要信息，提升解码器生成精炼、准确摘要的能力；

摘要解码器，利用单向长短期记忆网络逐词生成完整的文本摘要。

优选地，所述文本编码器包括：

词嵌入层，将原始文档中的每个单词转化成词向量序列；

双向LSTM网络，获取输入的词向量序列，用来计算输入文本序列的正向隐藏层状态序列和反向隐藏层状态序列，根据输入文本序列的正向隐藏层状态序列和反向隐藏层状态序列生成整个输入本文序列的隐藏层向量；