[发明专利]支持多语言混合的语音识别方法、装置、设备及存储介质

权利要求书

1.一种支持多语言混合的语音识别方法，其特征在于，所述方法包括：

获取训练数据的语音特征；

通过至少两个平行网络获取与所述语音特征分别对应的高维特征；

对所述平行网络输出的高维特征进行特征拼接，并获取与所述训练数据对应的拼接特征；

基于所述拼接特征训练神经网络模型，直至所述神经网络模型收敛至预设范围内，形成语音识别模型；

通过所述语音识别模型对待识别的多语言混合信号进行语音识别。

2.如权利要求1所述的支持多语言混合的语音识别方法，其特征在于，所述获取训练数据的语音特征的步骤包括：

对所述训练数据进行频谱分析，获取与所述训练数据对应的语谱图；

利用预设卷积神经网络对所述语谱图进行特征提取，获取与所述训练数据对应的所述语音特征。

3.如权利要求1所述的支持多语言混合的语音识别方法，其特征在于，所述获取训练数据的语音特征的步骤包括：

预先训练语音特征提取模型；

将所述训练数据输入所述语音特征提取模型，通过所述语音特征提取模型对所述训练数据进行编码，以获取所述训练数据的隐层特征；

对所述隐层特征进行非线性空间映射，获取与所述训练数据对应的所述语音特征。

4.如权利要求3所述的支持多语言混合的语音识别方法，其特征在于，

所述训练数据包括有标注的语音信号数据以及无标注的语音信号数据；

所述有标注的语音信号数据采用数据集或语料库中的标注数据，或者人工、标注模型完成标注的标注数据。

5.如权利要求1所述的支持多语言混合的语音识别方法，其特征在于，所述通过至少两个平行网络获取与所述语音特征分别对应的高维特征的步骤包括：

基于预设的单一语种的语料一，获取与所述语料一对应的语音特征一，基于所述语音特征一训练所述平行网络中的一个网络；同时，

基于预设的另一语种的语料二，获取与所述语料二对应的语音特征二，基于所述语音特征二训练所述平行网络中的另一网络，循环执行上述步骤，直至所有平行网络训练完成；

基于训练完成的平行网络，获取与所述训练数据的语音特征分别对应的高维特征。

6.如权利要求1所述的支持多语言混合的语音识别方法，其特征在于，所述对所述平行网络输出的高维特征进行特征拼接的步骤包括：

对各高维特征进行加和平拼接和/或串联拼接；并且，

所述各高维特征在所述拼接特征中的占比可调。

7.如权利要求1所述的支持多语言混合的语音识别方法，其特征在于，所述通过所述语音识别模型对待识别的多语言混合信号进行语音识别的识别结果包括：

所述待识别的多语言混合信号中不同语种的发音单元进行合并，且所述各不同语种之间相互独立；或者，

所述待识别的多语言混合信号中不同语种且相似度符合预设要求的发音单元重新映射到共同的目标发音单元，形成不同语种的部分独立和部分融合；

或者，所述待识别的多语言混合信号中不同语种全部映射到预设通用发音规则上，形成不同语种的完全融合。

8.一种支持多语言混合的语音识别装置，其特征在于，所述装置包括：

语音特征获取单元，用于获取训练数据的语音特征；

高维特征获取单元，用于通过至少两个平行网络获取与所述语音特征分别对应的高维特征；

拼接特征获取单元，用于对所述平行网络输出的高维特征进行特征拼接，并获取与所述训练数据对应的拼接特征；

语音识别模型形成单元，用于基于所述拼接特征训练神经网络模型，直至所述神经网络模型收敛至预设范围内，形成语音识别模型；

语音识别单元，用于通过所述语音识别模型对待识别的多语言混合信号进行语音识别。