[发明专利]一种基于变分神经网络主题模型的标题生成方法

说明书

本发明公开了一种基于变分神经网络主题模型的标题生成方法，属于自然语言处理技术领域。本方法通过变分自编码器自动学习文档主题隐分布向量，将文档主题隐分布向量和多层神经网络学习的文档表示向量利用注意力机制结合起来，从而在主题和全局层面上表示文档全面、深层的语义，构建高质量的标题生成模型。本方法利用多层编码器学习到了文档更全面的信息，提高了标题生成模型的概括全文主要思想的效果；利用VAE学习的主题隐分布向量，在主题这一抽象层次上更深层的表示了文档内容；利用注意力机制将主题隐分布向量和多层编码器学习的文档信息，将深层的语义表示和上下文信息有机的结合在一起构建了高质量的标题生成模型。

技术领域

本发明涉及一种基于变分神经网络主题模型的标题生成方法，属于自然语言处理技术领域。

背景技术

如今，人们每天通过各种渠道获取大量的信息，而这些信息中只有很少部分对于人们来说是有用信息。如果有机器学习模型以压缩形式消化大量信息，理解文档并提取其中的有用信息，从而对长文本自动生成精确标题，那将给人们节约大量的阅读时间。标题生成，顾名思义，旨在大量的信息数据中生成标题，其中尤以从长文本中生成标题为主要难点，特别是当文本的长度大大增加时。标题生成是自然语言处理领域中一项重要的任务，有助于机器真正理解文本内容。最近几年，受益于深度神经网络的发展，标题生成任务受到了广泛的关注。

随着近几年来深度神经网络的快速发展，很多问题也都开始通过神经网络模型来解决，而其中的大多数难题都取得了不错的效果，例如，机器翻译、语音识别等。传统的标题生成大多采用规则或者统计的方法来进行实现，这种方法虽然简单易实现，但是并没有深层次的理解源文档的含义，当遇到较复杂的语义时生成的结果可能千差万别。标题生成本质上是序列生成的问题，基于序列模型对于解决序列生成问题有较好的提升。因此，当前主流的标题生成都是运用深度神经网络技术实现。

经典的基于神经网络的标题生成模型包含一个前馈神经网络语言模型和一个基于注意力机制的编码器，但是神经网络语言模型没有准确的表示文档内容。近两年来，伴随着变分自编码器的兴起，研究热点也渐渐开始转移到变分自编码器和生成模型的结合上。利用离散变分编码器进行推理的深度生成模型，并将该模型用于句子压缩任务。但是由于表示能力有限，该模型没有考虑到序列之间的长期依赖关系。

发明内容

本发明的目的是为了解决现有方法缺少更多的文本信息表示的缺陷，提出一种基于变分神经网络主题模型的标题生成方法。

本发明的核心思想为：通过变分自编码器自动学习文档主题隐分布向量，将文档主题隐分布向量和多层神经网络学习的文档表示向量利用注意力机制结合起来，从而在主题和全局层面上表示文档全面、深层的语义，构建高质量的标题生成模型。

为实现上述目的，本发明所述一种基于变分神经网络主题模型的标题生成方法，包括以下步骤：

步骤一、进行相关定义，具体如下：

定义1：文档向量，利用向量表示文档的语义内容；

定义2：文本序列，文档由单词构成，文本序列是有序的单词构成的文档；

定义3：词向量和词向量序列，词向量是利用向量表示单词语义的一种方式，文本序列中有序的单词利用词向量表示的结果是词向量序列，记为X，X＝[x₁,x₂,…,x_n]，n为正整数；

定义4：标题，简短的文字概括文档的主要内容；

定义5：编码器，对文档内容进行压缩，用一个固定的状态向量S表示文档内容，编码器由神经网络构成；

定义6：解码器，将固定状态向量S通过解码器得到源文档或者目标序列，解码器由神经网络构成；