[发明专利]一种文本生成模型及文本生成方法

说明书

本公开公开了一种文本生成模型及文本生成方法。其中，文本生成模型，包括：编码模块和解码模块。编码模块适于对输入数据进行处理，以提取出指示其语义特征的第一向量；解码模块适于对第一向量进行处理，以生成至少一个句向量，来组成长文本。进一步地，解码模块又包括：子句内容规划单元，与编码模块耦接，适于接收编码模块的输出，对编码模块输出的第一向量进行处理，以确定出至少一个指示子句语义特征的第二向量；单词生成单元，与子句内容规划单元耦接，适于对第二向量进行处理，生成多个单词对应的词向量，以及，利用词向量，组合成至少一个句向量，来生成长文本。

技术领域

本公开涉及计算机网络技术领域，尤其涉及文本生成方案。

背景技术

自然语言生成(NLG)是自然语言处理(NLP)领域的重要组成部分，他的主要目的是降低人类和机器之间的沟通鸿沟，将非语言格式的数据转换成人类可以理解的语言格式。

学术界目前常用编码器-解码器(Encoder-Decoder)网络结构进行文本生成，Encoder用来分析输入数据(通常为序列)，将输入序列压缩成指定长度的向量，这个向量用来指示这个序列的语义。Decoder用来负责将语义向量、属性的特征表示等解码生成自然语言。

现有的网络结构对于生成连贯的短文本有较好的效果，但对于段落式的长文本而言，无法在生成过程中对输入数据动态建模、很好地捕获长文本复杂的语义结构，导致无法获取远距离的信息，进而造成生成文本质量不佳。

另外，对于广告类的长文本而言，生成文本的多样性也十分关键。通常来说，传统模型对应一组输入只能给出一组或几组固定的输出，但对于广告、评论等应用场景，频繁出现重复的文本是不可接受的。

因此，需要一种新的文本生成方案，以解决生成段落式的长文本时，语义表达不连贯、多样性匮乏的问题。

发明内容

本公开提供了一种文本生成模型及文本生成方法，以力图解决或者至少缓解上面存在的至少一个问题。

根据本公开的一个方面，提供了一种解码模块，适于布置在文本生成模型中，与编码模块相耦接，包括：子句内容规划单元，与编码模块耦接，适于接收编码模块的输出，对编码模块输出的第一向量进行处理，以确定出至少一个指示子句语义特征的第二向量；单词生成单元，与子句内容规划单元耦接，适于对第二向量进行处理，生成多个单词对应的词向量，以及，利用词向量，组合成至少一个句向量，来生成长文本。

可选地，在根据本公开的解码模块中，单词生成单元还适于，在每个时间步进行束搜索，得到各句向量的概率值；按照概率值从大到小的顺序，依序选取第一数量个句向量，作为候选序列；针对候选序列，分别计算每两个句向量之间的差异值；基于差异值，重构候选序列；重复迭代计算差异值的步骤和重构候选序列的步骤，直至差异值满足预设条件时，确定出属于候选序列的句向量。

可选地，在根据本公开的解码模块中，单词生成单元还适于，当两个句向量的差异值大于阈值时，从候选序列中移除这两个句向量中的一个；依序增加一个概率值最大的句向量至候选序列，来重构出候选序列。

可选地，在根据本公开的解码模块中，子句内容规划单元还适于，基于编码模块输出的第一向量和上一时间步所输出的子句语义特征，确定出当前时间步子句语义特征的概率分布；基于概率分布，生成指示当前时间步的子句语义特征的第二向量。

可选地，在根据本公开的解码模块中，子句语义特征至少包括以下特征中的一个：子句的实体属性、主题特征、情感特征。

可选地，在根据本公开的解码模块中，子句内容规划单元采用循环神经网络或长短期记忆网络。

根据本公开的另一方面，提供了一种文本生成模型，包括：编码模块，适于对输入数据进行处理，以提取出指示其语义特征的第一向量；如上所述的解码模块，与编码模块耦接，适于对第一向量进行处理，以生成至少一个句向量，来组成长文本。