[发明专利]语音识别模型的训练方法、装置、设备和存储介质

权利要求书

1.一种语音识别模型的训练方法，所述语音识别模型包括声学解码模型和语言模型，所述语音识别模型为端到端的语音识别模型，所述端到端的语音识别模型包括解码器，且，所述声学解码模型和所述语言模型位于所述解码器内，所述语言模型用于基于前一时刻的输出文本预测当前时刻的输出文本，所述方法包括：

基于所述声学解码模型和所述语言模型，获得语音对应的至少一个候选文本的融合概率，所述声学解码模型用于预测当前时刻输出文本，且，所述声学解码模型的输入包括所述当前时刻的前一时刻的输出文本；

基于所述融合概率，选择预设个数的候选文本，并基于所述预设个数的候选文本确定预测文本，其中，所述预设个数为多个；

基于所述预测文本和所述语音对应的标准文本，获得损失函数，并基于所述损失函数训练所述语音识别模型；

其中，所述基于所述预设个数的候选文本确定预测文本，包括：

若所述预设个数的候选文本中包括所述标准文本，则将所述预设个数的候选文本确定为预测文本；若所述预设个数的候选文本中不包括所述标准文本，则用所述标准文本替代所述预设个数的候选文本中的一个候选文本，以得到替代后的文本，将所述替代后的文本确定为预测文本；

其中，所述基于所述预测文本和所述语音对应的标准文本，获得损失函数，包括：

基于所述预测文本和所述语音对应的标准文本，获得所述预测文本的累加错误数，所述累加错误数基于历史错误数和当前错误数得到；

基于所述预测文本的累加错误数，获得损失函数。

2.根据权利要求1所述的方法，其中，所述基于所述声学解码模型和所述语言模型，获得语音对应的至少一个候选文本的融合概率，包括：

采用所述声学解码模型，对前一时刻的输出文本和当前时刻的声学相关信息进行处理，以获得语音对应的至少一个候选文本对应的第一概率；

采用所述语言模型，对前一时刻的输出文本进行处理，以获得所述候选文本对应的第二概率；

基于所述第一概率和所述第二概率，获得所述候选文本的融合概率。

3.根据权利要求2所述的方法，其中，所述基于所述第一概率和所述第二概率，获得所述候选文本的融合概率，包括：

对应所述候选文本，对所述第一概率和所述第二概率进行加权求和，以得到加权求和值，将所述加权求和值确定为对应的候选文本的融合概率。

4.根据权利要求1-3任一项所述的方法，其中，所述语音识别模型还包括：编码器和注意力模型，所述声学相关信息为注意力处理后的特征，所述方法还包括：

提取所述语音的声学特征；

采用所述编码器，对所述声学特征进行编码，以得到编码特征；

采用所述注意力模型，对所述编码特征进行注意力处理，以得到所述注意力处理后的特征。