[发明专利]一种语言模型的训练方法、装置、存储介质及设备

说明书

本申请公开了一种模型训练的方法、装置、存储介质及设备，该方法包括获取低资源语料以及所述低资源语料的平行语料，所述平行语料为与所述低资源语料表达相同语义的高资源语料，所述低资源语料包括方言文本或少数民族语言文本，所述高资源语料包括普通话文本；根据所述低资源语料和所述平行语料，构建训练语料；将所述训练语料输入所述语言模型进行模型训练，直至所述语言模型满足训练停止条件。该方法能够提高语言模型对方言或少数民族语言进行语义理解的效果。

技术领域

本申请涉及人工智能(artificial intelligence，AI)技术领域，尤其涉及一种语言模型的训练方法、装置、存储介质及设备。

背景技术

随着人工智能(artificial intelligence，AI)的飞速发展，尤其是自然语言处理(natural language processing，NLP)技术的飞速发展，基于NLP的AI应用被广泛用于多种场景，例如是语音识别、机器翻译、智能问答等场景。

其中，基于NLP的AI应用的核心是语言模型。语言模型对语义理解的准确度直接影响用户的交互体验。目前，语言模型对于普通话的语义理解已经能够满足用户的需求，但是语言模型对于方言或少数民族语言如粤语、闽南语、客家话的语义理解的效果欠佳。

如何提供一种对于方言或少数民族语言也具有较好的语义理解效果的语言模型成为业界重点关注的问题。

发明内容

本申请的主要目的在于提供一种语言模型的训练方法、装置、存储介质及设备，提高语言模型对方言或少数民族语言进行语义理解的效果。

第一方面，本申请提供了一种语言模型的训练方法，包括：获取低资源语料以及所述低资源语料的平行语料，所述平行语料为与所述低资源语料表达相同语义的高资源语料，所述低资源语料包括方言文本或少数民族语言文本，所述高资源语料包括普通话文本；

根据所述低资源语料和所述平行语料，构建训练语料；

将所述训练语料输入所述语言模型进行模型训练，直至所述语言模型满足训练停止条件。

一种可能的实现方式中，所述方法还包括：

获取所述低资源语料的发音信息；

所述根据所述低资源语料和所述平行语料，构建训练语料，包括：

根据所述低资源语料、所述平行语料以及所述发音信息，构建训练语料。

一种可能的实现方式中，所述根据所述低资源语料和所述平行语料，构建训练语料，包括：

将所述低资源语料和所述平行语料拼接，获得文本序列；

为所述文本序列中的部分字符设置掩膜，获得训练语料。

一种可能的实现方式中，所述语言模型包括生成模型和判别模型，所述生成模型的输出为所述判别模型的输入，所述判别模型用于判别所述生成模型输出的各个字符是否正确；

所述将所述训练语料输入所述语言模型进行模型训练，包括：

将所述训练语料输入所述生成模型，然后将所述生成模型的输出输入至所述判别模型，获得所述判别模型的输出；

根据所述生成模型的输入和输出确定第一损失值，根据所述判别模型的输入和输出确定第二损失值；

根据所述第一损失值和所述第二损失值获得所述语言模型的损失值，根据所述语言模型的损失值更新所述语言模型的参数。

一种可能的实现方式中，所述方言文本或少数民族语言文本中包括通配符，所述通配符用于表示不具有相应汉字的语音。

一种可能的实现方式中，所述获取低资源语料，包括：