[发明专利]一种基于变分神经网络主题模型的标题生成方法

摘要

本发明公开了一种基于变分神经网络主题模型的标题生成方法，属于自然语言处理技术领域。本方法通过变分自编码器自动学习文档主题隐分布向量，将文档主题隐分布向量和多层神经网络学习的文档表示向量利用注意力机制结合起来，从而在主题和全局层面上表示文档全面、深层的语义，构建高质量的标题生成模型。本方法利用多层编码器学习到了文档更全面的信息，提高了标题生成模型的概括全文主要思想的效果；利用VAE学习的主题隐分布向量，在主题这一抽象层次上更深层的表示了文档内容；利用注意力机制将主题隐分布向量和多层编码器学习的文档信息，将深层的语义表示和上下文信息有机的结合在一起构建了高质量的标题生成模型。

主权项

1.一种基于变分神经网络主题模型的标题生成方法，其特征在于包括以下步骤：步骤一、进行相关定义，具体如下：定义1：文档向量，利用向量表示文档的语义内容；定义2：文本序列，文档由单词构成，文本序列是有序的单词构成的文档；定义3：词向量和词向量序列，词向量是利用向量表示单词语义的一种方式，文本序列中有序的单词利用词向量表示的结果是词向量序列，记为X，X＝[x1,x2,…,xn]，n为正整数；定义4：标题，简短的文字概括文档的主要内容；定义5：编码器，对文档内容进行压缩，用一个固定的状态向量S表示文档内容，编码器由神经网络构成；定义6：解码器，将固定状态向量S通过解码器得到源文档或者目标序列，解码器由神经网络构成；定义7：隐藏状态和隐藏状态序列，表示神经网络中间层某一时刻的状态，用一个向量表示，隐藏状态所构成的序列称为隐藏状态序列；定义8：主题隐分布向量z，表示文档的主题语义，将文档的内容编码到主题隐分布向量z，在抽象主题层面表示文档的内容；步骤二、用变分自编码器学习文档的主题隐分布向量，具体实现过程如下：步骤2.1利用PV算法学习文档向量；PV算法在训练过程中，通过不断调整句向量和词向量来预测单词，直到PV算法收敛，句向量和词向量均通过随机梯度下降和反向传播训练得来；步骤2.2利用变分自编码器学习主题隐分布向量z；步骤三、利用word2vec算法学习词向量，按照文本序列中的单词顺序依次排列其对应词向量，得到词向量序列，记为X；步骤四、利用多层编码器，计算前向隐藏状态序列、后向隐藏状态序列和隐藏状态序列；其中，编码器采用多层双向LSTM模型，双向LSTM模型包括前向LSTM和反向LSTM，多层编码器中前一层的输入作为后一层的输出，最后输出隐藏状态序列h；步骤五、利用步骤二输出的主题隐分布向量和步骤四输出的隐藏状态序列，综合考虑主题信息和上下文信息，引入注意力机制，进行解码器操作，输出标题。