[发明专利]一种基于自注意力的生成式文本摘要方法

说明书

本发明提供一种基于自注意力的生成式文本摘要方法，该方法抛弃了以往文本摘要方法中常用的循环神经网络结构，转而采用了基于自注意力机制的方法，避免了循环神经网络结构的低效性。此外对于自注意力机制方法在生成摘要效果不佳的缺点，本发明对其该方法进行了改进，简化了其结构，最终实现了高效、准确的文本摘要生成。

技术领域

本发明涉及自然语言处理和文本处理领域，更具体地，涉及一种基于自注意力的生成式文本摘要方法。

背景技术

随着近年来互联网技术的发展，文本信息呈现爆发式增长，人们每天能从各种途径接触到海量的文本信息，如新闻、博客、微信、微博等。大量的文本数据同时也带来了信息过载的问题。根据中国网络信息中心(CNNIC)发布的《第43次中国互联网络发展状况统计报告》显示，截至2018年12月，中国的网民又突破了历史新高，达到了8.29亿人，已经占到了中国总人口的59.6％。其中城镇网民占6.07亿，农村网民占2.22亿。而根据QuestMobile发布的《中国移动互联网2018年半年大报告》显示，中国移动互联网用户对互联网的依赖越发强烈，人均单日使用时长达289.7分钟(近5小时)，其中资讯是除过社交和视频之外，最消耗时间的项目，且仍有上升趋势。也就是说，人们每天花费大量的时间，在浏览各式各样的信息上，因此信息过载问题不容忽视。根据社会学研究，信息过载会给人们都来许多现实和心理上的困扰，如浪费时间精力、决策失误、精神压力。在此背景下，自动文本摘要和个性化推荐系统成为了解决信息过载的重要方法，因此这两个领域得以快速发展。

文本摘要，即给定一段长文本，通过提取其中的关键信息，将其精炼成一段短文本或几句话。现有的文本摘要的方法可大致分为两类，抽取式(extractive)和生成式(abstractive)。

抽取式，顾名思义，即从原文中抽取出能最大程度上保留原文信息的一个或多个句子，并将其组合成一段话，作为原文的摘要。这种方法所形成的摘要一般无语法问题，但多个句子间的衔接往往并不顺畅。此外，部分文章的关键信息较为分散，并不集中在几个句子中，故有时候得到的摘要质量较差，不过整体来说差强人意。生成式方法，与人类做摘要的方式较为接近，即先阅读原文，然后根据自己的理解写摘要。对于计算机来说，即先将原文编码成数字形式，然后根据编码信息来进行解码，使用语言模型来生产摘要。当前的各类生成式方法能生成效果较好的摘要，但其无论是在模型训练阶段还是生成摘要阶段，效率都十分的低下，尤其是在输入序列较长时，其时间消耗和空间消耗十分巨大。

发明内容

本发明提供一种高效、准确的基于自注意力的生成式文本摘要方法。

为了达到上述技术效果，本发明的技术方案如下：

一种基于自注意力的生成式文本摘要方法，包括以下步骤：

S1：建立基于自注意力机制的文本摘要模型，模型包括基于自注意力机制的编码器和基于注意力机制的解码器，其中编码器的参数被解码器共享；

S2：建立文本摘要模型的对应的损失函数；

S3：进行文本摘要模型的训练，并在目标文本数据集上测试。

进一步地，所述步骤S1的具体过程是：

S11：构建字词的向量表示层：先将文字转换成数字表示，即用向量表示层来完成；

S12：构建基于自注意力机制的编码器，编码器包括多头注意力层和全连接层，接收来自于向量表示层的向量，并提取其中隐藏的特征，以向量形式输出；

S13：构建基于注意力机制的解码器，解码器包括多头注意力层和全连接层，接收来自于编码器的特征，并根据此特征来生成摘要文本。

进一步地，所述步骤S2的具体过程是：

文本摘要模型的损失函数由负对数似然函数给出：

loss＝-logP(y|x)