[发明专利]语言模型预训练方法和装置

说明书

本申请公开了语言模型预训练方法和装置。该方法的一具体实施方式包括：获取初始语言模型，初始语言模型用于确定输入到初始语言模型的文本数据中包含的字之间的关联关系；获取训练初始语言模型的训练样本集，训练样本集中的训练样本包括样本数据、第一标注信息和第二标注信息；将样本数据作为输入，将第一标注信息作为与初始语言模型的第一输出端连接的初始去噪自编码模型的期望输出，并将第二标注信息作为与初始语言模型的第二输出端连接的初始序列到序列模型的期望输出，对初始语言模型、初始去噪自编码模型和初始序列到序列模型进行预训练，得到训练后的语言模型。该实施方式可以显示捕获文本的音韵信息，有效提升了语言模型输出文本的语义表示效果。

技术领域

本申请涉及计算机技术领域，具体涉及自然语言处理技术领域，尤其涉及一种语言模型预训练方法和装置。

背景技术

现有技术中，NLP(Natural Language Processing，自然语言处理)领域中目前最先进的语言表征模型是BERT(Bidirectional Encoder Representations fromTransformers，源于Transformers的双向编码器)，其是一个多层Transformer Encoder模型，该模型通过在大量自然文本上优化两个自监督任务:1)字符级去噪自编码任务(将输入端随机掩码的字符，还原为原始输入字符),2)句子连贯性预测任务(预测两句是否是连贯)学习自然文本的语言表征。

发明内容

本申请实施例提出了语言模型预训练方法和装置。

第一方面，本申请提供了一种语言模型预训练方法，该方法包括：获取初始语言模型，初始语言模型用于确定输入到初始语言模型的文本数据中包含的字之间的关联关系；获取训练初始语言模型的训练样本集，训练样本集中的训练样本包括样本数据、第一标注信息和第二标注信息；将样本数据作为输入，将第一标注信息作为与初始语言模型的第一输出端连接的初始去噪自编码模型的期望输出，并将第二标注信息作为与初始语言模型的第二输出端连接的初始序列到序列模型的期望输出，对初始语言模型、初始去噪自编码模型和初始序列到序列模型进行预训练，得到训练后的语言模型；其中，训练样本的样本数据包括遮蔽后的原始文本和原始文本音韵信息，训练样本的第一标注信息为所述原始文本中的遮蔽字或词，训练样本的第二标注信息为原始文本音韵信息。

在一些实施例中，样本数据通过以下方式得到：获取原始文本和原始文本音韵信息；随机遮蔽原始文本中的字或词，得到遮蔽后的原始文本；连接遮蔽后的原始文本和原始文本音韵信息，得到样本数据。

在一些实施例中，初始语言模型包括：字符编码器和基于BERT机制构建的语言模型，其中，字符编码器用于将输入数据中的每个字转换成对应的字向量，并将字向量、每个字所在的句子向量以及每个字的位置向量进行相加，得到基于BERT机制构建的语言模型的输入向量。

在一些实施例中，音韵信息包括音韵停顿信息、音子信息和音调信息。

在一些实施例中，对初始语言模型、初始去噪自编码模型和初始序列到序列模型进行预训练，得到训练后的语言模型，包括如下的交替训练步骤：将样本数据作为输入，将该样本数据的第一标注信息作为当前去噪自编码模型的期望输出，对当前去噪自编码模型和当前语言模型进行训练；响应于当前去噪自编码模型和当前语言模型满足预先设置的第一收敛条件，将样本数据作为输入，将该样本数据的第二标注信息作为当前序列到序列模型的期望输出，对当前序列到序列模型和当前语言模型进行训练；响应于当前序列到序列模型和当前语言模型满足预先设置的第二收敛条件，判断当前去噪自编码模型和当前语言模型是否满足预先设置的第一收敛条件，若不满足，则重新执行所述交替训练步骤。