[发明专利]语音识别方法、装置、设备及介质

权利要求书

1.一种语音识别方法，其特征在于，所述方法包括：

获取语音内容，所述语音内容为待识别的音频；

通过语音识别模型中的共享网络子模块对所述语音内容进行特征提取，得到中间特征，所述中间特征用于指示所述语音内容的音频表达特性，所述中间特征用于同时输入所述语音识别模型中的E2E网络子模块和声学处理子模块；

基于注意力机制通过所述E2E网络子模块对所述中间特征进行解码，得到第一词图，所述第一词图用于指示基于所述注意力机制预测得到的第一候选词汇组成的第一候选序列集，其中，E2E用于指示通过基于注意力机制的神经网络实现端到端语音识别的识别模型；

基于所述语音内容对应的发音情况通过所述声学处理子模块对所述中间特征进行特征映射，得到第二词图，所述第二词图用于指示基于所述发音情况得到的第二候选词汇组成的第二候选序列集；

根据所述第一词图和所述第二词图指示的候选词汇之间的连接关系，确定所述语音内容对应的识别结果；

其中，所述语音识别模型在训练过程中，先对由所述共享网络子模块和所述E2E网络子模块组成的第一训练网络进行训练，然后再对由所述共享网络子模块和所述声学处理子模块组成的第二训练网络进行训练。

2.根据权利要求1所述的方法，其特征在于，所述对所述语音内容进行特征提取，得到中间特征，包括：

通过至少一层卷积网络对所述语音内容进行特征抽取，得到中间子特征；

对所述中间子特征进行特征加权，得到所述中间特征。

3.根据权利要求1所述的方法，其特征在于，所述基于注意力机制对所述中间特征进行解码，得到第一词图，包括：

基于所述注意力机制对所述中间特征中指示人声语音表达的通道进行特征加权，得到第一分支特征；

对所述第一分支特征进行解码，得到所述第一词图。

4.根据权利要求3所述的方法，其特征在于，所述对所述第一分支特征进行解码，得到所述第一词图，包括：

通过预设解码器对所述第一分支特征进行解码，得到所述第一候选序列集；

将所述第一候选序列集中对应的第一候选词汇作为路径，生成所述第一词图。

5.根据权利要求1所述的方法，其特征在于，所述基于所述语音内容对应的发音情况对所述中间特征进行特征映射，得到第二词图，包括：

基于所述中间特征确定待识别语音对应的目标词汇集；

基于所述目标词汇集生成所述第二词图。

6.根据权利要求5所述的方法，其特征在于，所述基于所述中间特征确定待识别语音对应的目标词汇集，包括：

将所述中间特征输入至全连接层，得到所述待识别语音对应的音素的后验概率，所述音素用于指示根据语音的自然属性划分的最小语音单位；

基于所述音素的后验概率，确定所述目标词汇集。

7.根据权利要求6所述的方法，其特征在于，所述基于所述音素的后验概率，确定所述目标词汇集，包括：

获取发音词典，所述发音词典包括词汇与发音之间的映射关系；

根据所述音素的后验概率确定所述语音内容中各个时间点对应的音素；

根据所述发音词典确定所述各个时间点对应的音素组成的目标词汇集。

8.根据权利要求6所述的方法，其特征在于，所述基于所述目标词汇集生成所述第二词图，包括：

确定所述目标词汇集组成的至少一个第二候选序列对应的概率；

基于所述至少一个第二候选序列对应的概率生成所述第二词图。