[发明专利]一种语言模型的训练方法、装置、存储介质及设备

权利要求书

1.一种语言模型的训练方法，其特征在于，包括：

获取低资源语料以及所述低资源语料的平行语料，所述平行语料为与所述低资源语料表达相同语义的高资源语料，所述低资源语料包括方言文本或少数民族语言文本，所述高资源语料包括普通话文本；

根据所述低资源语料和所述平行语料，构建训练语料；

将所述训练语料输入所述语言模型进行模型训练，直至所述语言模型满足训练停止条件。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述低资源语料的发音信息；

所述根据所述低资源语料和所述平行语料，构建训练语料，包括：

根据所述低资源语料、所述平行语料以及所述发音信息，构建训练语料。

3.根据权利要求1所述的方法，其特征在于，所述根据所述低资源语料和所述平行语料，构建训练语料，包括：

将所述低资源语料和所述平行语料拼接，获得文本序列；

为所述文本序列中的部分字符设置掩膜，获得训练语料。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述语言模型包括生成模型和判别模型，所述生成模型的输出为所述判别模型的输入，所述判别模型用于判别所述生成模型输出的各个字符是否正确；

所述将所述训练语料输入所述语言模型进行模型训练，包括：

将所述训练语料输入所述生成模型，然后将所述生成模型的输出输入至所述判别模型，获得所述判别模型的输出；

根据所述生成模型的输入和输出确定第一损失值，根据所述判别模型的输入和输出确定第二损失值；

根据所述第一损失值和所述第二损失值获得所述语言模型的损失值，根据所述语言模型的损失值更新所述语言模型的参数。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述方言文本或少数民族语言文本中包括通配符，所述通配符用于表示不具有相应汉字的语音。

6.根据权利要求1至3任一项所述的方法，其特征在于，所述获取低资源语料，包括：

接收用户编写的低资源语料；或者，

对用户输入的原始语料进行翻译，获得低资源语料。

7.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

将所述语言模型与任务模型连接，所述语言模型的输出为所述任务模型的输入。

8.一种语言模型的训练装置，其特征在于，包括：

获取模块，用于获取低资源语料以及所述低资源语料的平行语料，所述平行语料为与所述低资源语料表达相同语义的高资源语料，所述低资源语料包括方言文本或少数民族语言文本，所述高资源语料包括普通话文本；

构建模块，用于根据所述低资源语料和所述平行语料，构建训练语料；

训练模块，用于将所述训练语料输入所述语言模型进行模型训练，直至所述语言模型满足训练停止条件。

9.一种电子设备，其特征在于，包括：处理器、存储器、系统总线；

所述处理器以及所述存储器通过所述系统总线相连；

所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在电子设备上运行时，使得所述电子设备执行权利要求1-7任一项所述的方法。