[发明专利]语音识别方法、模型训练方法、装置、介质、电子设备

权利要求书

1.一种语音识别方法，其特征在于，包括：

将待识别音频数据输入至第一语音特征提取子模型，得到所述待识别音频数据的初始特征数据，所述第一语音特征提取子模型为预先训练的语音识别模型的子模型，所述语音识别模型还包括第二语音特征提取子模型和语音鉴伪子模型；

将所述初始特征数据输入所述第二语音特征提取子模型中，所述第二语音特征提取子模型包括频域分支以及时域分支，所述频域分支用于输出所述待识别音频数据的频域特征数据，所述时域分支用于输出的所述待识别音频数据的时域特征数据；

将所述频域特征数据和所述时域特征数据输入所述语音鉴伪子模型中，得到所述待识别音频数据的分类结果，所述分类结果用以指示所述待识别音频数据是否为真实语音。

2.根据权利要求1所述的语音识别方法，其特征在于，所述第一语音特征提取子模型为WavLM模型或者Wav2vec模型。

3.根据权利要求2所述的语音识别方法，其特征在于，所述第一语音特征提取子模型为WavLM模型，所述第一语音特征提取子模型包括：

卷积编码模块，用于对所述待识别音频数据进行编码获得编码数据；

Transformer编码模块，包括J个特征提取层，其中，第一个特征提取层用于根据所述编码数据提取特征数据C₁，第j个特征提取层用于根据特征数据C_j-1提取特征数据C_j，j为大于1且小于J的整数，J为大于1的整数，其中，所述初始特征数据根据特征数据C₁至C_j获得。

4.根据权利要求3所述的语音识别方法，其特征在于，所述第一语音特征提取子模型还包括：

自注意力模块，用于对所述特征数据C₁至C_j进行加权求和，得到所述待识别音频数据的初始特征数据。

5.根据权利要求2所述的语音识别方法，其特征在于，所述第一语音特征提取子模型为Wav2vec模型，所述第一语音特征提取子模型包括：

特征提取层，用于提取所述待识别音频数据的浅层特征数据；

上下文编码层，用于提取所述待识别音频数据的相邻帧的浅层特征数据之间的关联特征数据，得到所述待识别音频数据的初始特征数据。

6.一种语音识别模型训练方法，其特征在于，包括：

将样本音频数据输入至第一语音特征提取子模型，得到所述样本音频数据的初始特征数据，所述第一语音特征提取子模型为预先训练的语音识别模型的子模型，所述语音识别模型还包括第二语音特征提取子模型和语音鉴伪子模型；

将所述初始特征数据输入所述第二语音特征提取子模型中，所述第二语音特征提取子模型包括频域分支以及时域分支，所述频域分支用于输出所述样本音频数据的频域特征数据，所述时域分支用于输出所述样本音频数据的时域特征数据；

将所述频域特征数据和所述时域特征数据输入所述语音鉴伪子模型中，得到所述样本音频数据的预测分类结果，所述预测分类结果用以预测所述样本音频数据是否为真实语音；

根据所述预测分类结果以及所述样本音频数据的类别标签训练所述语音识别模型。

7.一种语音识别装置，其特征在于，包括：

第一输入模块，用于将待识别音频数据输入至第一语音特征提取子模型，得到所述待识别音频数据的初始特征数据，所述第一语音特征提取子模型为预先训练的语音识别模型的子模型，所述语音识别模型还包括第二语音特征提取子模型和语音鉴伪子模型；

第二输入模块，用于将所述初始特征数据输入所述第二语音特征提取子模型中，所述第二语音特征提取子模型包括频域分支以及时域分支，所述频域分支用于输出所述待识别音频数据的频域特征数据，所述时域分支用于输出的所述待识别音频数据的时域特征数据；

第三输入模块，用于将所述频域特征数据和所述时域特征数据输入所述语音鉴伪子模型中，得到所述待识别音频数据的分类结果，所述分类结果用以指示所述待识别音频数据是否为真实语音。