[发明专利]基于语义对齐的神经网络自动摘要模型

说明书

本发明属于文本摘要自动生成技术领域，涉及基于语义对齐的神经网络自动摘要模型，是指在给定文本的条件下，利用训练产生的模型自动生成简短摘要。该模型在传统Sequence‑to‑Sequence模型的基础上，在编码器和解码器间加入语义对齐网络。语义对齐网络将源文本语义信息与摘要文本语义信息结合起来，通过联合训练，模型可以充分挖掘并利用参考摘要文本整体的语义信息，提高自动生成文本摘要的质量。

技术领域

本发明属于文本摘要自动生成技术领域，涉及基于语义对齐的神经网络自动摘要模型，是指在给定文本的条件下，利用训练产生的模型自动生成简短摘要。

背景技术

文本摘要自动生成技术应用广泛，尤其是在提高用户获取信息的效率和实现文本压缩存储方面作用越来越突出。通常，按照摘要生成方法可以分为抽取式摘要和生成式摘要。抽取式摘要是指从文本中抽取现有的若干句子作为文本的摘要，而生成式摘要则是综合分析原文信息后生成新的句子作为文本的摘要。

早期的文本摘要自动生成技术主要集中在抽取式方法上，该方法的关键是通过一定的方式从文本中抽取出重要性高的若干句子。最初，出现了根据浅层信息特征对句子重要性进行打分的统计学方法，主要利用的特征有句中各词的重要程度、句子位置、句中是否包含线索词等。随后，为了改进简单统计学方法对词间关系和词义关系等特征利用不足的问题，出现了基于外部语义资源的方法，该方法通过词间关系和词义关系等多种属性来判定句子的重要性，从而提高摘要的质量；接着，受PageRank网页排序算法的启发，产生了基于图排序的抽取式方法，该方法用顶点表示文档中的每个句子，用各顶点之间的边表示句子之间的关系，，依据PageRank、TextRank等算法对句子得分进行计算；后来，随着机器学习方法的流行，统计机器学习方法被应用到文本摘要自动生成领域，该方法通常将选取句子作为摘要的任务转化为对句子进行分类或打标签的问题。机器学习方法中的特征选择广泛，可以加入简单统计方法中利用的特征，也可以扩展很多其他开放性特征，一定程度上提高了生成摘要的可读性和准确性。经过多年发展，抽取式方法取得了一定的进步，但是在语义不连贯的原生性问题上并未找到有效的解决途径，用户还是希望能够得到像人在阅读文本时产生的语义连贯、可读性强的生成式摘要。

最近，Seqence-to-Seqence深度神经网络模型的出现为生成式摘要任务提供了重要的思路和方法。该模型在encoder-decoder的框架下，将源序列转化为目标序列，对于文本摘要自动生成任务而言，就是将文本词汇序列转化为摘要词汇序列，encoder负责对文本词汇序列进行处理得到文本表示向量，decoder负责在文本表示向量和已生成词汇的条件下依次生成摘要词汇。目前优化该模型的方法主要分为3个方向，一个是针对encoder端，传统的encoder端仅简单在词向量基础上顺序计算得到文本表示向量，表示信息的能力较为单一，为增加encoder 端的信息表示能力，出现了基于双向LSTM、双向GRU神经元的模型，还有利用卷积网络在 encoder端加入文本特征挖掘结果等方法。第二个是针对decoder端，为解决传统decoder端出现的OOV、信息重复和注意力分散的问题，分别提出了基于指针网络、覆盖机制和注意力机制。第三个是针对优化过程，部分方法突破传统针对单一损失函数进行优化的局限性，在优化过程中加入联合损失；还有部分方法将优化过程融入强化学习模型，提高了优化结果。

生成式自动文本摘要技术近年来有了长足发展，不断挖掘并细化对encoder端序列(即文本)有效信息的利用程度，但是对于decoder端序列(即摘要)的利用还停留在对当前词汇生成时刻的前一个、多个或全部词汇进行利用的片段性利用阶段，并未对摘要的整体信息进行有效利用。

发明内容

为了克服现有生成式自动文本摘要方法存在的对摘要整体信息利用不充分的问题，本发明提出了一种基于语义对齐的神经网络自动摘要模型，该模型在基于带注意力机制的 Sequence-to-Sequence模型的基础上，在encoder和decoder间加入语义对齐网络，模型结构见附图1所示。该模型可以通过文本与摘要间的语义对齐将文本语义信息与摘要文本语义信息结合起来，充分挖掘和利用摘要的语义信息，从而提高自动摘要生成质量。