[发明专利]一种基于时序主题模型的自然语言生成方法

说明书

本发明公开了一种基于时序主题模型的自然语言生成方法，包括：获得文档中的每个句子的上下文词袋向量；利用时序主题模型生成所述文档中每个句子的主题分布向量；将每个句子的每个词和相应的主题分布向量输入到时序语言模型中，得到每个词相应的各层隐变量；将各层隐变量拼接在一起，通过归一化指数函数预测当前句子中的下一个单词；利用随机梯度下降法对时序语言模型以及时序主题模型中的编码器参数进行更新；对时序主题模型中的解码器参数进行采样更新。该方法将多层主题模型与多层语言模型相结合，提取文本主题中层次化的语义特征以及层次化的时序信息，低层特征语义范围较小，高层特征语义范围更为广泛。

技术领域

本发明属于自然语言处理技术领域，具体涉及一种基于时序主题模型的自然语言生成方法。

背景技术

在自然语言处理领域中，主题模型和语言模型都是广泛应用的文本分析方法。主题模型对文本的词袋形式进行分析，只考虑文档中单词出现的次数而忽略文本内部词与词之间的时序关系。而多层的主题模型能够极大的提高对文本的建模能力，并得到更具有语义信息的隐变量。

语言模型对文本进行时序建模，能够捕捉到文本内部词与词之间的时序关系，从而实现自然语言处理中的各种任务，如文本总结、机器翻译、图像标注等。语言模型通常给定前一个单词，对后一个单词的发生概率进行估计，并选择预测概率最大的单词，这成为单步预测。给定一个起始符输入语言模型，将单步预测输出的单词作为下一个单步预测的输入，一直进行迭代直到终止符或达到足够长度，从而生成一个句子。但语言模型只关注到了文本内部时序信息，而忽略了文本的语义信息。

因此，将主题模型与语言模型结合起来能够同时捕捉到文本的语义信息与时序信息，能够实现在文本主题指导下的语言时序建模。这种互补的结构能够提升主题模型的主题提取能力以及语言模型的预测能力，从而能够针对不同的主题生成相应的句子。

上海交通大学申请的专利“基于主题模型的文章特征抽取方法”(申请号：201511016955.7)中公开了一种基于主题模型的文章特征抽取方法。该方法包括：首先基于原始语料库构建文章的引用关系网络，设定初始文章集合并根据引用关系网络得到新语料库；然后针对新语料库，构建主题模型的生成模型和参数联合表达式；其次根据所述生成模型构建主题模型的推断过程；接着根据主题模型的推断过程，对新语料库采样文章；最后根据采样文章的采样结果提取文章参数。但是该方法只提取了文本的语义信息，而忽略了文本内部的时序结构，无法应用于文本生成等任务中。

华南理工大学申请的专利“一种基于深度学习和主题模型的问答系统实现方法”(申请号：201810330697.7)中公开了一种基于深度学习和主题模型的问答系统实现方法，包括：首先将问句输入Twitter LDA主题模型获得问句的主题类型，并提取相应主题词，将输入问句和主题词表示为词向量；然后将输入问句的词向量输入RNN循环神经网络编码，获取问句的编码隐藏层状态向量；其次解码RNN循环神经网络使用联合注意力机制结合问句的局部和全局混合语义向量，进行解码生成词；之后使用大规模对话语料训练基于编码解码框架的深度学习主题问答模型；最终利用训练的问答模型预测输入问句的答案，生成与问句主题相关的答案。该方法将主题语义信息输入问答系统，弥补了问答模型外源知识的缺失，增加回答的丰富性和多样性，但是单层主题模型没有多层主题模型提取的语义信息完备，同时无法捕捉到句子与句子之间的时序特征。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于时序主题模型的自然语言生成方法。本发明以时序主题模型为指导，对文章中的句子进行时序主题建模，在每句话的主题指导下对句子内部单词进行时序语言建模，对单词进行单步预测。

实现本发明目的的具体思路是，在时序主题模型的主题分布指导下，对文本进行单步预测，利用主题模型的似然函数与文本预测的误差函数作为目标函数，更新主题模型和语言模型的网络参数，从而能够在主题指导下生成相应文本。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种基于时序主题模型的自然语言生成方法，包括：