[发明专利]语音识别模型的训练方法、语音识别方法和系统

权利要求书

1.一种语音识别模型的训练方法，其特征在于，所述语音识别模型包括声学编码器、语言预测器、文本映射层和联合网络，所述方法包括：

将音频训练样本输入所述声学编码器，以对所述音频训练样本进行编码表示，确定所述音频训练样本的声学编码状态向量；

将预设的词表输入所述语言预测器中，确定所述预设的词表中每一标签的文本预测向量；

将所述文本预测向量线输入所述文本映射层，确定所述文本预测向量映射至所述预设的词表中每一标签的概率，得到文本输出概率分布；

根据所述音频训练样本对应的目标文本序列和所述文本输出概率分布，计算第一损失函数；

将所述文本预测向量和所述声学编码状态向量输入所述联合网络，计算第二损失函数，并根据所述第一损失函数和所述第二损失函数进行迭代优化，直至满足停止条件，

其中，据所述第一损失函数和所述第二损失函数进行迭代优化包括：

根据所述第一损失函数和所述第二损失函数，确定第三损失函数；

根据所述第三损失函数进行迭代优化。

2.根据权利要求1所述的方法，其特征在于，所述第一损失函数为交叉熵损失函数，所述第二损失函数为Transducer损失函数。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括根据下式确定第三损失函数：

其中，L表示第三损失函数，表示第一损失函数，表示第二损失函数，表示预设的权重。

4.根据权利要求1所述的方法，其特征在于，将音频训练样本输入所述声学编码器，以对所述音频训练样本进行编码表示包括：

将音频训练样本输入所述声学编码器获取所述音频训练样本的声学特征，并对所述音频训练样本的声学特征进行编码表示。

5.一种语音识别方法，其特征在于，所述方法应用于权利要求1-4任一项所训练得到的语音识别模型，所述语音识别模型包括：声学编码器、语言预测器、文本映射层和联合网络；所述方法包括：

将待识别音频输入所述声学编码器进行编码表示，确定所述待识别音频的声学编码状态向量；

将预设的词表输入所述语言预测器，确定所述预设的词表中每一标签的文本预测向量；

将所述文本预测向量输入所述文本映射层，以将所述文本预测向量映射至所述预设的词表，确定所述文本预测向量映射至所述预设的词表中每一标签的第一概率；

将所述文本预测向量和所述声学编码状态向量输入所述联合网络，确定所述待识别音频映射至所述预设的词表中每一标签的第二概率；

根据所述第一概率和所述第二概率，确定所述待识别音频对应的文本内容。

6.根据权利要求5所述的方法，其特征在于，根据所述第一概率和所述第二概率，确定所述待识别音频对应的文本内容包括：

计算所述第一概率和所述第二概率的加权和；

将最大的所述加权和作为所述待识别音频对应的文本内容。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括根据下式确定待识别音频对应的文本内容：

其中，Token表示待识别音频对应的文本内容，表示第一概率，表示第二概率，表示文本融合权重，表示t时刻的声学编码状态向量，

表示预设的词表中第u个标签。

8.根据权利要求5所述的方法，其特征在于，将待识别音频输入所述声学编码器进行编码表示包括：

将待识别音频输入所述声学编码器获取所述待识别音频的声学特征，并对所述音频训练样本的声学特征进行编码表示。