[发明专利]一种基于变分神经网络主题模型的标题生成方法

权利要求书

1.一种基于变分神经网络主题模型的标题生成方法，其特征在于包括以下步骤：

步骤一、进行相关定义，具体如下：

定义1：文档向量，利用向量表示文档的语义内容；

定义2：文本序列，文档由单词构成，文本序列是有序的单词构成的文档；

定义3：词向量和词向量序列，词向量是利用向量表示单词语义的一种方式，文本序列中有序的单词利用词向量表示的结果是词向量序列，记为X，X＝[x₁,x₂,…,x_n]，n为正整数；

定义4：标题，简短的文字概括文档的主要内容；

定义5：编码器，对文档内容进行压缩，用一个固定的状态向量S表示文档内容，编码器由神经网络构成；

定义6：解码器，将固定状态向量S通过解码器得到源文档或者目标序列，解码器由神经网络构成；

定义7：隐藏状态和隐藏状态序列，表示神经网络中间层某一时刻的状态，用一个向量表示，隐藏状态所构成的序列称为隐藏状态序列；

定义8：主题隐分布向量z，表示文档的主题语义，将文档的内容编码到主题隐分布向量z，在抽象主题层面表示文档的内容；

步骤二、用变分自编码器学习文档的主题隐分布向量，具体实现过程如下：

步骤2.1利用PV算法学习文档向量；PV算法在训练过程中，通过不断调整句向量和词向量来预测单词，直到PV算法收敛，句向量和词向量均通过随机梯度下降和反向传播训练得来；

步骤2.2利用变分自编码器学习主题隐分布向量z；

步骤三、利用word2vec算法学习词向量，按照文本序列中的单词顺序依次排列其对应词向量，得到词向量序列，记为X；

步骤四、利用多层编码器，计算前向隐藏状态序列、后向隐藏状态序列和隐藏状态序列；

其中，编码器采用多层双向LSTM模型，双向LSTM模型包括前向LSTM和反向LSTM，多层编码器中前一层的输入作为后一层的输出，最后输出隐藏状态序列h；

步骤五、利用步骤二输出的主题隐分布向量和步骤四输出的隐藏状态序列，综合考虑主题信息和上下文信息，引入注意力机制，进行解码器操作，输出标题。

2.如权利要求1所述的一种基于变分神经网络主题模型的标题生成方法，其特征在于，所述步骤二中，利用变分自编码器学习主题隐分布向量z的具体实现方法如下：

步骤2.2.1利用变分自编码器，即VAE，将文档向量X_s输入到VAE的编码器中，该编码器利用循环神将网络构成，即RNN，得到初始化的主题隐分布向量z₀；

步骤2.2.2将初始化的主题隐分布向量z₀输入到VAE的解码器中，该解码器也是利用RNN构成，得到文档向量X_e；

步骤2.2.3利用重调参数的方法使得|X_s-X_e|最小化，从而学习到主题隐分布向量z。

3.如权利要求1所述的一种基于变分神经网络主题模型的标题生成方法，其特征在于，所述步骤四的具体实现过程如下：

步骤4.1将m赋值为1，m表示多层编码器中的网络第m层；

步骤4.2将步骤三输出的词向量序列顺序输入前向LSTM中，获得前向隐藏状态序列；

步骤4.3将步骤三输出的词向量序列倒序输入反向LSTM中，获得反向隐藏状态序列；

步骤4.4判断m是否等于M，若不相等，则m加1，跳转执行步骤4.2；若相等，则跳入执行步骤4.5；

其中，M是多层编码器的层数；

步骤4.5计算隐藏状态序列，记为h,具体通过前向隐藏状态序列和反向隐藏状态序列连接得到，通过下述公式计算：

其中，表示第m层前向LSTM t时刻隐藏状态，表示第m层反向LSTM t时刻隐藏状态，表示向量的拼接。