[发明专利]语言模型预训练方法和装置

权利要求书

1.一种语言模型预训练方法，所述方法包括：

获取初始语言模型，所述初始语言模型用于确定输入到所述初始语言模型的文本数据中包含的字之间的关联关系；

获取训练初始语言模型的训练样本集，所述训练样本集中的训练样本包括样本数据、第一标注信息和第二标注信息；

将所述样本数据作为输入，将第一标注信息作为与所述初始语言模型的第一输出端连接的初始去噪自编码模型的期望输出，并将第二标注信息作为与所述初始语言模型的第二输出端连接的初始序列到序列模型的期望输出，对所述初始语言模型、所述初始去噪自编码模型和所述初始序列到序列模型进行预训练，得到训练后的语言模型；

其中，所述训练样本的样本数据包括遮蔽后的原始文本和所述原始文本音韵信息，所述训练样本的第一标注信息为所述原始文本中的遮蔽字或词，所述训练样本的第二标注信息为所述原始文本音韵信息。

2.根据权利要求1所述的方法，所述样本数据通过以下方式得到：

获取原始文本和原始文本音韵信息；

随机遮蔽原始文本中的字或词，得到遮蔽后的原始文本；

连接所述遮蔽后的原始文本和原始文本音韵信息，得到样本数据。

3.根据权利要求1所述的方法，所述初始语言模型包括：字符编码器和基于BERT机制构建的语言模型，其中，所述字符编码器用于将输入数据中的每个字转换成对应的字向量，并将所述字向量、每个字所在的句子向量以及每个字的位置向量进行相加，得到所述基于BERT机制构建的语言模型的输入向量。

4.根据权利要求1-3任一所述的方法，所述音韵信息包括音韵停顿信息、音子信息和音调信息。

5.根据权利要求1-3任一所述的方法，所述对所述初始语言模型、所述初始去噪自编码模型和所述初始序列到序列模型进行预训练，得到训练后的语言模型，包括如下的交替训练步骤：

将样本数据作为输入，将该样本数据的第一标注信息作为当前去噪自编码模型的期望输出，对当前去噪自编码模型和当前语言模型进行训练；

响应于当前去噪自编码模型和当前语言模型满足预先设置的第一收敛条件，将样本数据作为输入，将该样本数据的第二标注信息作为当前序列到序列模型的期望输出，对当前序列到序列模型和当前语言模型进行训练；

响应于当前序列到序列模型和当前语言模型满足预先设置的第二收敛条件，判断当前去噪自编码模型和当前语言模型是否满足预先设置的第一收敛条件，若不满足，则重新执行所述交替训练步骤。

6.一种语言模型预训练装置，所述装置包括：

确定模块，配置用于获取初始语言模型，所述初始语言模型用于确定输入到所述初始语言模型的文本数据中包含的字之间的关联关系；

获取模块，配置用于获取训练初始语言模型的训练样本集，所述训练样本集中的训练样本包括样本数据、第一标注信息和第二标注信息；

训练模块，配置用于将所述样本数据作为输入，将第一标注信息作为与所述初始语言模型的第一输出端连接的初始去噪自编码模型的期望输出，并将第二标注信息作为与所述初始语言模型的第二输出端连接的初始序列到序列模型的期望输出，对所述初始语言模型、所述初始去噪自编码模型和所述初始序列到序列模型进行预训练，得到训练后的语言模型；

其中，所述训练样本的样本数据包括遮蔽后的原始文本和所述原始文本音韵信息，所述训练样本的第一标注信息为所述原始文本中的遮蔽字或词，所述训练样本的第二标注信息为所述原始文本音韵信息。

7.根据权利要求6所述的装置，所述样本数据通过以下方式得到：

获取原始文本和原始文本音韵信息；

随机遮蔽原始文本中的字或词，得到遮蔽后的原始文本；

连接所述遮蔽后的原始文本和原始文本音韵信息，得到样本数据。