[发明专利]文本生成方法、装置、设备、存储介质及程序产品

权利要求书

1.一种文本生成方法，其特征在于，所述文本生成方法包括以下步骤：

将输入文本中的各个字分别作为目标字，从所述输入文本中提取包括所述目标字在内的顺次连接的多个字组成的词语，作为所述目标字对应的多元组；

获取所述目标字的第一词嵌入表示和位置嵌入表示，以及获取所述目标字对应的所述多元组的第二词嵌入表示；

根据所述目标字对应的所述第一词嵌入表示、所述位置嵌入表示和所述第二词嵌入表示计算得到所述目标字对应的综合嵌入表示；

对所述输入文本中各个字对应的所述综合嵌入表示进行编码得到第一编码语义特征，对所述第一编码语义特征进行解码得到与所述输入文本对应的目标输出文本。

2.如权利要求1所述的文本生成方法，其特征在于，所述从所述输入文本中提取包括所述目标字在内的顺次连接的多个字组成的词语，作为所述目标字对应的多元组的步骤包括：

在所述输入文本中从所述目标字开始，往后提取包括所述目标字在内的顺次连接的预设数量的字组成词语，作为所述目标字对应的多元组，其中，当在所述输入文本中从所述目标字开始往后可选的包括所述目标字在内的字数达不到所述预设数量时，通过往前提取以补齐所缺的字数。

3.如权利要求1所述的文本生成方法，其特征在于，所述第一词嵌入表示、所述位置嵌入表示和所述第二词嵌入表示为维度相同的向量；

所述根据所述目标字对应的所述第一词嵌入表示、所述位置嵌入表示和所述第二词嵌入表示计算得到所述目标字对应的综合嵌入表示的步骤包括：

将所述目标字对应的所述第一词嵌入表示、所述位置嵌入表示和所述第二词嵌入表示进行向量相加，得到所述目标字对应的综合嵌入表示。

4.如权利要求1至3任一项所述的文本生成方法，其特征在于，所述对所述第一编码语义特征进行解码得到与所述输入文本对应的目标输出文本的步骤包括：

将所述目标输出文本中的各个字分别作为待预测字，获取所述待预测字的初始解码特征；

基于所述初始解码特征与所述输入文本中各个字对应的所述第一编码语义特征，分别计算所述待预测字与所述输入文本中各个字之间的第一注意力系数；

分别获取所述输入文本中各个字对应的所述多元组的第二编码语义特征；

基于所述初始解码特征与各所述多元组对应的所述第二编码语义特征，分别计算所述待预测字与各所述多元组之间的第二注意力系数；

将所述多元组对应的所述第二注意力系数分别叠加至所述多元组所包含的各个字的所述第一注意力系数中，得到所述待预测字分别与所述输入文本中各个字之间的第三注意力系数；

采用所述输入文本中各个字对应的所述第三注意力系数对所述输入文本中各个字的所述第一编码语义特征进行特征融合，得到所述待预测字的更新解码特征；

基于所述待预测字的所述更新解码特征解码得到所述待预测字，以得到所述目标输出文本。

5.如权利要求4所述的文本生成方法，其特征在于，获取所述目标字对应的所述多元组的第二编码语义特征的步骤包括：

根据所述目标字对应的所述多元组所包括的各个字的所述第一编码语义特征，计算得到所述多元组的第二编码语义特征。

6.如权利要求4所述的文本生成方法，其特征在于，所述将所述多元组对应的所述第二注意力系数分别叠加至所述多元组所包含的各个字的所述第一注意力系数中，得到所述待预测字分别与所述输入文本中各个字之间的第三注意力系数的步骤包括：

将包含所述目标字的各个所述多元组对应的第二注意力系数进行平均，得到所述目标字对应的第四注意力系数；

将所述目标字对应的所述第一注意力系数和所述第四注意力系数相加，得到所述目标字对应的第五注意力系数；

将所述输入文本中各个字对应的所述第五注意力系数进行归一化处理，得到所述待预测字分别与所述输入文本中各个字之间的第三注意力系数。