[发明专利]语言模型的训练方法、语音识别方法及相关装置

权利要求书

1.一种语言模型的训练方法，其特征在于，所述方法包括：

获得口语训练语料集和业务训练语料集；其中，所述口语训练语料集是在任意场景下采集的文本集；所述业务训练语料集是在直播场景下采集的主播用户对应的文本集；

根据所述口语训练语料集，对初始的语言模型进行预训练，获得预训练的所述语言模型；

根据所述业务训练语料集，对所述预训练的所述语言模型进行微调训练，获得训练后的所述语言模型。

2.根据权利要求1所述的语言模型的训练方法，其特征在于，在获得口语训练语料集和业务训练语料集的步骤之后，所述方法还包括：

获得所述口语训练语料集中的第一待处理文本和所述业务训练语料集中的第二待处理文本；其中，所述第一待处理文本和所述第二待处理文本各自的文本长度大于预设长度；

根据预设截断概率和预设截断长度，分别对所述第一待处理文本和所述第二待处理文本进行截断；

将截断后的所述第一待处理文本作为所述口语训练语料集中的训练语料，将截断后的所述第二待处理文本作为所述业务训练语料集中的训练语料。

3.根据权利要求1所述的语言模型的训练方法，其特征在于，获得口语训练语料集和业务训练语料集之后，所述方法还包括：

对所述口语训练语料集和所述业务训练语料集中的每个文本进行语料清洗。

4.一种语音识别方法，其特征在于，所述方法包括：

获得待识别语音；

基于预训练的语音识别模型和语言模型，获得所述待识别语音对应的目标文本；

其中，所述语言模型是基于口语训练语料集和业务训练语料集训练而成；所述口语训练语料集是在任意场景下采集的文本集；所述训练语料集是在直播场景下采集的主播用户对应的文本集。

5.根据权利要求4所述的语音识别方法，其特征在于，所述语言模型通过以下方式训练：

根据所述口语训练语料集，对初始的所述语言模型进行预训练，获得预训练的所述语言模型；

根据所述业务训练语料集，对所述预训练的所述语言模型进行微调训练，获得训练后的所述语言模型。

6.根据权利要求4所述的语音识别方法，其特征在于，基于预训练的语音识别模型和语言模型，获得所述待识别语音对应的目标文本，包括：

获得所述待识别语音对应的音频特征；

基于所述语音识别模型，获得所述音频特征对应的文字序列以及所述文字序列中每个词语对应的第一分布概率；

基于所述语言模型，获得所述每个词语对应的第二分布概率；

将所述第一分布概率和所述第二分布概率之和最大时对应的词语组成所述目标文本。

7.根据权利要求4所述的语音识别方法，其特征在于，获得待识别语音，包括：

显示语音识别的用户界面；所述用户界面上具有语音录入区域、开始识别标识和文本预览区域；

当在所述语音录入区域接收到录入指令，获得所述待识别语音；

基于预训练的语音识别模型和语言模型，获得所述待识别语音对应的目标文本的步骤，包括：

当接收到针对所述语音开始识别标识的操作指令，基于所述语音识别模型和所述语言模型，获得所述目标文本，并将所述目标文本显示在所述文本预览区域。

8.一种语言模型的训练装置，其特征在于，包括：

获得模块，用于获得口语训练语料集和业务训练语料集；其中，所述口语训练语料集是在任意场景下采集的文本集；所述业务训练语料集是在直播场景下采集的主播用户对应的文本集；

训练模块，用于根据所述口语训练语料集，对初始的语言模型进行预训练，获得预训练的所述语言模型；根据所述业务训练语料集，对所述预训练的所述语言模型进行微调训练，获得训练后的所述语言模型。