[发明专利]一种模型训练方法、装置和用于模型训练的装置

权利要求书

1.一种模型训练方法，其特征在于，所述方法包括：

获取训练数据，所述训练数据包括与预训练任务无关的第一训练数据，以及与预训练任务相关的第二训练数据；

将所述第一训练数据输入语言模型，基于所述预训练任务对所述语言模型进行预训练，得到候选语言模型；

基于所述第二训练数据对所述候选语言模型进行调整，得到目标语言模型。

2.根据权利要求1所述的方法，其特征在于，所述预训练任务包括文本顺滑任务，所述目标语言模型用于对文本数据进行顺滑处理。

3.根据权利要求2所述的方法，其特征在于，所述将所述第一训练数据输入语言模型，基于所述预训练任务对所述语言模型进行预训练，得到候选语言模型，包括：

获取所述第一训练数据的第一字符编码向量、第一拼音编码向量和第一位置编码向量；

对所述第一字符编码向量、所述第一拼音编码向量和所述第一位置编码向量相加，得到第一输入编码向量；

将所述第一输入编码向量输入语言模型，基于包括第一任务在内至少一项预训练任务对所述语言模型进行预训练，得到候选语言模型，所述第一任务用于预测所述第一训练数据中需要被顺滑的字符。

4.根据权利要求3所述的方法，其特征在于，所述获取所述第一训练数据的第一字符编码向量、第一拼音编码向量和第一位置编码向量，包括：

按照预设比例对所述第一训练数据中的字符进行遮蔽处理，得到遮蔽后的第一训练数据；

对所述遮蔽后的第一训练数据进行编码处理，得到所述第一训练数据的第一字符编码向量、第一拼音编码向量和第一位置编码向量。

5.根据权利要求4所述的方法，其特征在于，所述预训练任务还包括第二任务，所述第二任务用于预测所述第一训练数据中被遮蔽的字符。

6.根据权利要求2所述的方法，其特征在于，所述训练数据还包括所述第二训练数据的顺滑标签，所述基于所述第二训练数据对所述候选语言模型进行调整，得到目标语言模型，包括：

基于所述候选语言模型和双向长短记忆网络对所述第二训练数据进行处理，得到所述候选语言模型输出的第一隐层向量以及所述双向长短记忆网络输出的第二隐层向量；

对所述第一隐层向量和所述第二隐层向量进行拼接，得到第三隐层向量；

将所述第三隐层向量输入至全连接网络层进行预测处理，得到所述第二训练数据对应的预测结果；

根据所述预测结果和所述第二训练数据的顺滑标签，对所述候选语言模型进行调整，直至所述候选语言模型的损失值满足收敛条件，得到目标语言模型。

7.根据权利要求6所述的方法，其特征在于，所述基于所述候选语言模型和双向长短记忆网络对所述第二训练数据进行处理，得到所述候选语言模型输出的第一隐层向量以及所述双向长短记忆网络输出的第二隐层向量，包括：

获取所述第二训练数据的第二字符编码向量、第二拼音编码向量和第二位置编码向量；

对所述第二字符编码向量、所述第二拼音编码向量和所述第二位置编码向量相加，得到第二输入编码向量；

将所述第二输入编码向量输入至所述候选语言模型中进行处理，得到所述候选语言模型输出的第一隐层向量；

获取所述第二训练数据对应的声学特征向量；

将所述声学特征向量输入至双向长短记忆网络进行处理，得到所述双向长短记忆网络输出的第二隐层向量。