[发明专利]文本生成方法、装置、设备、存储介质及程序产品

说明书

本发明公开了一种文本生成方法、装置、设备、存储介质及程序产品，所述方法包括：将输入文本中的各个字分别作为目标字，从输入文本中提取包括目标字在内的顺次连接的多个字组成的词语，作为目标字对应的多元组；获取目标字的第一词嵌入表示和位置嵌入表示，以及获取目标字对应的多元组的第二词嵌入表示；根据目标字对应的第一词嵌入表示、位置嵌入表示和第二词嵌入表示计算得到目标字对应的综合嵌入表示；对输入文本中各个字对应的综合嵌入表示进行编码得到第一编码语义特征，对第一编码语义特征进行解码得到与输入文本对应的目标输出文本。本发明使得生成的目标输出文本的语义更加完整，提高了生成文本的准确度。

技术领域

本发明涉及文本处理技术领域，尤其涉及一种文本生成方法、装置、设备、存储介质及程序产品。

背景技术

目前，在很多应用场景中都存在文本生成任务，例如自动生成文本摘要、自动翻译等。文本生成任务一般通过序列到序列的模型来实现。相比于基于循环神经网络设计的序列到序列的模型，Transformer模型利用位置编码捕捉词语之间的关系，能够实现并行计算。但是，目前Transformer模型的位置编码表示能力不足，尤其对中文这种以字为单位，经过嵌入层再输入到模型当中，忽略了输入文本的词语结构，导致生成的文本不够准确，例如在应用到自动生成文本摘要的场景，针对一段输入文本生成摘要时，会导致生成的文本摘要不能够准确表征该输入文本的内容。

发明内容

本发明的主要目的在于提供一种文本生成方法、装置、设备、存储介质及程序产品，旨在解决Transformer模型的位置编码表示能力不足，忽略文本的词语结构，导致生成的文本不够准确的技术问题。

为实现上述目的，本发明提供一种文本生成方法，所述文本生成方法包括以下步骤：

将输入文本中的各个字分别作为目标字，从所述输入文本中提取包括所述目标字在内的顺次连接的多个字组成的词语，作为所述目标字对应的多元组；

获取所述目标字的第一词嵌入表示和位置嵌入表示，以及获取所述目标字对应的所述多元组的第二词嵌入表示；

根据所述目标字对应的所述第一词嵌入表示、所述位置嵌入表示和所述第二词嵌入表示计算得到所述目标字对应的综合嵌入表示；

对所述输入文本中各个字对应的所述综合嵌入表示进行编码得到第一编码语义特征，对所述第一编码语义特征进行解码得到与所述输入文本对应的目标输出文本。

可选地，所述从所述输入文本中提取包括所述目标字在内的顺次连接的多个字组成的词语，作为所述目标字对应的多元组的步骤包括：

在所述输入文本中从所述目标字开始，往后提取包括所述目标字在内的顺次连接的预设数量的字组成词语，作为所述目标字对应的多元组，其中，当在所述输入文本中从所述目标字开始往后可选的包括所述目标字在内的字数达不到所述预设数量时，通过往前提取以补齐所缺的字数。

可选地，所述第一词嵌入表示、所述位置嵌入表示和所述第二词嵌入表示为维度相同的向量；

所述根据所述目标字对应的所述第一词嵌入表示、所述位置嵌入表示和所述第二词嵌入表示计算得到所述目标字对应的综合嵌入表示的步骤包括：

将所述目标字对应的所述第一词嵌入表示、所述位置嵌入表示和所述第二词嵌入表示进行向量相加，得到所述目标字对应的综合嵌入表示。

可选地，所述对所述第一编码语义特征进行解码得到与所述输入文本对应的目标输出文本的步骤包括：

将所述目标输出文本中的各个字分别作为待预测字，获取所述待预测字的初始解码特征；

基于所述初始解码特征与所述输入文本中各个字对应的所述第一编码语义特征，分别计算所述待预测字与所述输入文本中各个字之间的第一注意力系数；