[发明专利]一种语音识别模型训练方法、装置以及电子设备

权利要求书

1.一种语音识别模型训练方法，其特征在于，所述方法包括：

获得第一语言音频的第一音节标签序列和第二语言音频的第二音节标签序列；

从所述第二音节标签序列中确定多个差异音节标签序列；

根据所述多个差异音节标签序列确定目标差异音节标签序列，其中，所述目标差异音节标签序列中每个音节标签至少存在于所述多个差异音节标签序列的至少两项中；

根据所述目标差异音节标签序列生成第三音节标签序列；

根据所述第一音节标签序列和所述第三音节标签序列进行语音识别模型训练，得到混合语音识别模型。

2.根据权利要求1所述的方法，其特征在于，所述从所述第二音节标签序列中确定多个差异音节标签序列，包括：

根据所述第一语言音频、所述第一音节标签序列、所述第二语言音频、所述第二音节标签序列以及预先训练的第一语言识别模型，从所述第二音节标签序列中确定所述多个差异音节标签序列，其中，所述第一语言识别模型基于所述第一音节标签序列训练得到。

3.根据权利要求1所述的方法，其特征在于，所述多个差异音节标签序列包括第一差异音节标签序列，所述从所述第二音节标签序列中确定多个差异音节标签序列，包括：

将所述第二语言音频输入至预先训练的第一语言识别模型，得到连接时序分类峰序列；

根据所述第二音节标签序列和所述连接时序分类峰序列，确定所述第二音节标签序列中的每种第二音节标签的连接时序分类峰正确率；

根据每种第二音节标签的连接时序分类峰正确率，从所述第二音节标签序列中确定所述第一差异音节标签序列。

4.根据权利要求1所述的方法，其特征在于，所述多个差异音节标签序列包括第二差异音节标签序列，所述从所述第二音节标签序列中确定多个差异音节标签序列，包括：

通过预先训练的第一语言识别模型对所述第二语言音频和所述第二音节标签序列进行处理，得到连接时序分类维特比序列；

根据所述连接时序分类维特比序列，确定所述第二音节标签序列中的每种第二音节标签的连接时序分类维特比得分；

根据每种第二音节标签的连接时序分类维特比得分，从所述第二音节标签序列中确定所述第二差异音节标签序列。

5.根据权利要求1所述的方法，其特征在于，所述多个差异音节标签序列包括第三差异音节标签序列，所述从所述第二音节标签序列中确定多个差异音节标签序列，包括：

通过预先训练的第一语言识别模型对所述第一语言音频和所述第一音节标签序列，以及所述第二语言音频和所述第二音节标签序列分别进行处理，得到第一连接时序分类维特比序列和第二连接时序分类维特比序列；

根据所述第一连接时序分类维特比序列和所述第二连接时序分类维特比序列，确定所述第一音节标签序列中的每种第一音节标签的连接时序分类维特比得分和所述第二音节标签序列中的每种第二音节标签的连接时序分类维特比得分；

根据所述第二音节标签序列中的每种第二音节标签的连接时序分类维特比得分与对应的第一音节标签的连接时序分类维特比得分的差异，从所述第二音节标签序列中确定所述第三差异音节标签序列。

6.根据权利要求3所述的方法，其特征在于，所述根据所述第二音节标签序列和所述连接时序分类峰序列，确定所述第二音节标签序列中的每种第二音节标签的连接时序分类峰正确率，包括：

对所述第二音节标签序列去重，得到去重音节标签序列；

对所述去重音节标签序列去静音帧，得到有效音节标签序列；

对比所述有效音节标签序列和所述连接时序分类峰序列，得到所述有效音节标签序列中的每种有效音节标签的连接时序分类峰正确率。