[发明专利]多语种语音识别方法、装置及电子设备

说明书

本公开涉及语音识别技术领域，揭露一种多语种语音识别方法、装置及电子设备，该多语种语音识别方法包括：获取待识别的目标语音；调用预训练的声学模型以及预训练的多语种语言模型对所述目标语音进行解码，获取所述目标语音的识别结果搜索网格；调用预训练的多个单语种语言模型分别对所述识别结果搜索网格进行重打分，分别筛选出一个对应语种的候选识别结果，并分别确定所述候选识别结果为所述目标语音的目标识别结果的概率；按照所述概率从大到小的顺序将所述候选识别结果进行排序，并从排名前预设位数的候选识别结果中筛选出所述目标识别结果。本公开可以降低多语种语音识别的难度。同样的，本方案可以应用于数字医疗中在线问诊环节中。

技术领域

本公开涉及语音识别技术领域，尤其涉及一种多语种语音识别方法、装置及电子设备。

背景技术

随着国际间文化的频繁碰撞，用户在日常生活的语音交流中，常常会将多种语种的语言混合在一起。例如：“你看到我的pen了吗？”这一语音将中文与英文混合在了一起。现有技术中，在针对多语种语音进行识别时，先使用语种检测模型对语音所包含的语种类别进行检测，进而再基于检测所确定的语种类别进行语言识别以得到识别结果。由此可见，现有技术中多语种语音识别的准确度受制于语种检测模型的准确度，一旦语种检测模型出现错误，语音的识别结果也会出错。因此现有技术中为保证语音识别结果的准确度，必须训练出高准确度的语种检测模型，而训练出高准确度的语种检测模型对于训练数据以及训练时间的要求均很高，难度较大。

发明内容

本公开提供一种多语种语音识别方法、装置及电子设备，其主要目的在于降低多语种语音识别的难度。

为实现上述目的，本公开提供的一种多语种语音识别方法，包括：

获取待识别的目标语音；

调用预训练的声学模型以及预训练的多语种语言模型对所述目标语音进行解码，获取所述目标语音的识别结果搜索网格；

调用预训练的多个单语种语言模型分别对所述识别结果搜索网格进行重打分，分别筛选出一个对应语种的候选识别结果，并分别确定所述候选识别结果为所述目标语音的目标识别结果的概率；

按照所述概率从大到小的顺序将所述候选识别结果进行排序，并从排名前预设位数的候选识别结果中筛选出所述目标识别结果。

可选地，在调用预训练的声学模型以及预训练的多语种语言模型对所述目标语音进行解码之前，所述方法还包括：

对所述目标语音进行降噪处理，得到降噪处理后的目标语音；

对所述降噪处理后的目标语音进行特征提取，得到用于作为所述声学模型的输入的所述目标语音的语音帧序列。

可选地，通过以下方法预训练所述多语种语言模型，所述方法包括：

获取第一语种对应的第一训练文本以及第二语种对应的第二训练文本；

将所述第一训练文本以及所述第二训练文本共同输入所述多语种语言模型，得到所述多语种语言模型输出的所述第一训练文本的第一识别结果以及所述第二训练文本的第二识别结果；

基于所述第一识别结果以及所述第二识别结果确定所述多语种语言模型的识别误差；

通过反向传播所述识别误差调整所述多语种语言模型的参数，直到所述识别误差小于预设误差阈值。

可选地，调用预训练的声学模型以及预训练的多语种语言模型对所述目标语音进行解码，包括：

调用所述声学模型以所述目标语音的语音帧为输入，针对每一语音帧，输出所述语音帧对应各状态的第一概率以及所述各状态之间相互转移的第二概率；

获取所述多语种语言模型经预训练后得到的用于描述词序统计规律的第三概率；