[发明专利]一种基于时序主题模型的自然语言生成方法

权利要求书

1.一种基于时序主题模型的自然语言生成方法，其特征在于，包括：

S1：获得文档中的每个句子的上下文词袋向量；

所述S1包括：

将包括J个句子的文档D＝{s₁,s₂,...,s_j,...,s_J}除去当前第{1,2,...,J}个句子后的文字分别表示为词袋向量d₁,d₂,...,d_j,...,d_J，其中，d_j表示除去第j个句子s_j后的上下文词袋向量；

S2：根据所述上下文词袋向量，利用时序主题模型生成所述文档中每个句子的主题分布向量；

所述S2包括：

将所述词袋向量d₁,d₂,...,d_j,...,d_J依次输入L层的循环伽马置信网络模型中，分别得到对应的主题分布θ₁,θ₂,...,θ_j,...,θ_J，其中，θ_j＝{θ_j⁽¹⁾,θ_j⁽²⁾,...,θ_j^(L)},j∈1:J表示将所述词袋向量d_j输入所述循环伽马置信网络模型中获得的L层隐变量；

S3：将每个句子的每个词和相应的主题分布向量输入到时序语言模型中，得到每个词相应的各层隐变量；

S4：将每个词的所述各层隐变量拼接在一起，通过归一化指数函数预测当前句子中的下一个单词；

S5：利用随机梯度下降法对所述时序语言模型以及时序主题模型中的编码器参数进行更新；

S6：利用自适应随机梯度马尔可夫链蒙特卡洛采样方法对所述时序主题模型中解码器的参数进行采样更新。

2.根据权利要求1所述的基于时序主题模型的自然语言生成方法，其特征在于，所述循环伽马置信网络模型由堆叠的循环概率神经网络构成，用于对时序主题模型的各层神经元进行概率建模，所述循环伽马置信网络模型表示为：

其中，表示第l层的隐变量，表示第l层的隐变量之间的转移矩阵，Φ^(l)表示所述循环伽马置信网络模型中第l层的字典参数，Gam表示伽马分布函数，τ₀表示伽马分布的尺度参数，a_j^(l)、k_j^(l)、λ_j^(l)表示韦布尔分布中的参数，g^(l)表示基本的循环神经网络传递单元，f^(l)表示基本的映射函数，用于将s_j^(l-1)与s_j-1^(l)进行整合，s_j⁽¹⁾＝d_j表示网络的第一层输入为句子的上下文词袋向量，ε_j^(l)表示一个从标准正态分布中采样得到的随机数，其中，由d_j输入得到{θ_j⁽¹⁾,θ_j⁽²⁾,...,θ_j^(L)}的过程称为编码器，由{θ_j⁽¹⁾,θ_j⁽²⁾,...,θ_j^(L)}重构得到d_j的过程称为解码器。