[发明专利]文本生成方法、装置、设备及存储介质

权利要求书

1.一种文本生成方法，包括：

对标题进行预处理，得到带有位置信息的特征向量序列；以及

将所述带有位置信息的特征向量序列输入到自回归语言模型中，得到新生成文本，其中，所述新生成文本包括与所述标题相关的内容；

其中，所述自回归语言模型包括多层堆叠的自回归解码器，所述自回归解码器包括级联的带掩码的自注意力层、第一残差层、第一归一化层、前馈层、第二残差层、第二归一化层和激活层。

2.根据权利要求1所述的方法，其中，所述将所述带有位置信息的特征向量序列输入到自回归语言模型中，得到新生成文本，包括：

将所述带有位置信息的特征向量序列输入到带掩码的自注意力层中，得到上下文特征向量序列；

将所述上下文特征向量序列和所述带有位置信息的特征向量序列输入到所述第一残差层中，得到第一残差层处理特征向量序列；

将所述第一残差层处理特征向量序列输入至所述第一归一化层中，得到第一归一化层处理特征向量序列；

将所述第一归一化层处理特征向量序列输入到所述前馈层中，得到重构的特征向量序列；

将所述重构的特征向量序列和所述第一归一化层处理特征向量序列输入到所述第二残差层中，得到第二残差层处理特征向量序列；

将所述第二残差层处理特征向量序列输入至所述第二归一化层中，得到第二归一化层处理特征向量序列；

将所述第二归一化层处理特征向量序列输入至激活层，得到所述新生成文本。

3.根据权利要求1所述的方法，其中，所述对所述标题进行预处理，得到带有位置信息的特征向量序列，包括：

获取所述标题；

将所述标题映射为数值序列；

基于所述数值序列，生成特征向量序列；

将所述特征向量序列与位置向量序列相加，得到所述带有位置信息的特征向量序列。

4.一种用于文本生成的模型训练方法，包括：

获取训练样本，其中，所述训练样本包括样本标题和样本内容；

利用所述训练样本训练待训练的自回归语言模型，得到自回归语言模型；

其中，自回归语言模型包括多层堆叠的自回归解码器，所述自回归解码器包括级联的带掩码的自注意力层、第一残差层、第一归一化层、前馈层、第二残差层、第二归一化层和激活层。

5.根据权利要求4所述的方法，其中，所述利用所述训练样本训练待训练的自回归语言模型，得到自回归语言模型包括：

对所述训练样本标题进行预处理，得到带有位置信息的样本特征向量序列；

将所述带有位置信息的样本特征向量序列输入至所述待训练的自回归语言模型中，得到预测文本；

利用所述预测文本和所述样本内容训练所述待训练的自回归语言模型，得到所述自回归语言模型。

6.根据权利要求4所述的方法，其中，所述对所述训练样本标题进行预处理，得到所述带有位置信息的样本特征向量序列，包括：

获取所述训练样本标题；

将所述训练样本标题映射为样本数值序列；

基于所述样本数值序列，生成样本特征向量序列；

将所述样本特征向量序列与位置向量序列相加，得到带有位置信息的样本特征向量序列。

7.一种文本生成装置，包括：

标题处理模块，用于对标题进行预处理，得到带有位置信息的特征向量序列；

文本生成模块，用于将所述带有位置信息的特征向量序列输入到自回归语言模型中，得到新生成文本，其中，所述新生成文本包括与标题相关的内容；

其中，所述自回归语言模型包括多层堆叠的自回归解码器，所述自回归解码器包括级联的带掩码的自注意力层、第一残差层、第一归一化层、前馈层、第二残差层、第二归一化层和激活层。