[发明专利]语音识别模型的训练方法、语音识别方法及装置

说明书

本发明提供了一种语音识别模型的训练方法、语音识别方法及装置，涉及语音识别的技术领域，该语音识别模型的训练方法包括：获取包括多个语音序列的语音样本集，对语音样本集中的多个语音序列进行帧计算，以提取语音序列的Fbank特征向量，对Fbank特征向量进行降采样处理和掩码运算，生成掩码特征向量；将掩码特征向量输入至预训练模型，以完成语音识别模型的预训练过程。本发明提供的语音识别模型的训练方法、语音识别方法及装置，在训练过程中，由于使用的是无标注语音序列，大大减少了语音识别模型的训练过程中对标注数据的依赖，在保证识别效果的同时，也降低了使用成本。

技术领域

本发明涉及语音识别的技术领域，尤其是涉及一种语音识别模型的训练方法、语音识别方法及装置。

背景技术

近年来，随着深度学习技术的发展，语音识别技术也经历了革命性的变化，从深度学习技术的发展中汲取营养，也一直是语音识别技术取得突破的途径。但是，通过深度学习技术对语音识别模型进行训练时，为了得到更为准确的识别效果，通常需要大量昂贵的标注数据，这对于工业界语音识别系统提出了很大的挑战，不仅提高了使用成本，也难以进行大范围推广。

发明内容

有鉴于此，本发明的目的在于提供一种语音识别模型的训练方法、语音识别方法及装置，以缓解上述技术问题。

第一方面，本发明实施例提供了一种语音识别模型的训练方法，该语音识别模型为Transformer结构的模型，包括编码器和解码器，编码器包括多个编码层，解码器包括多个解码层，编码器和掩蔽预测编码MPC层构成语音识别模型的预训练模型，该方法包括：获取包括多个语音序列的语音样本集，对语音样本集中的多个语音序列进行帧计算，以提取语音序列的Fbank特征向量，其中，语音样本集中包括的多个语音序列为无标注语音序列；对Fbank特征向量进行指定倍数的降采样处理，生成Fbank特征向量对应的降采样特征向量；对降采样特征向量做掩码运算，生成掩码特征向量；将掩码特征向量输入至预训练模型，通过预训练模型的编码器和MPC层输出Fbank特征向量对应的预测向量；计算预测向量与Fbank特征向量的损失函数，根据损失函数调整语音识别模型中编码器的参数，继续训练调整参数后的语音识别模型，直至损失函数收敛至预设值，完成语音识别模型的预训练过程。

在一种可能的实施方式中，上述预训练过程完成之后，语音识别模型的编码器与解码器构成语音识别模型的微调模型，上述方法还包括：将语音序列的Fbank特征向量输入至微调模型，以对语音识别模型的参数进行微调处理。

在一种可能的实施方式中，上述对语音样本集中的多个语音序列进行帧计算，以提取语音序列的Fbank特征向量的步骤包括：将无标注语音序列输入至预先设置的特征提取系统，通过特征提取系统对无标注语音序列进行帧计算，以提取语音序列的Fbank特征向量。

在一种可能的实施方式中，上述对Fbank特征向量进行指定倍数的降采样处理，生成Fbank特征向量对应的降采样特征向量的步骤包括：对Fbank特征向量依次选取指定倍数的一组帧数；对于每组帧数，随机选取其中指定个数的帧，将每组帧数中选取的指定个数的帧进行组合，以生成Fbank特征向量对应的降采样特征向量；其中，指定个数小于指定倍数。

在一种可能的实施方式中，上述指定倍数为8倍，指定个数为1。

在一种可能的实施方式中，上述对降采样特征向量做掩码计算，生成掩码特征向量的步骤包括：遍历降采样特征向量的每一帧；按照预设的随机函数对降采样特征向量的每一帧分别计算随机数，如果随机数小于预设的随机值，将该帧对应的向量值置为0。

在一种可能的实施方式中，上述损失函数为L1损失函数。

第二方面，本发明实施例提供了一种语音识别方法，该方法通过语音识别模型实现，语音识别模型为根据第一方面的方法训练得到的，该方法包括：获取待识别语音；将待识别语音输入至训练好的语音识别模型，通过语音识别模型输出待识别语音对应的文字识别结果。