[发明专利]语音识别方法、装置、设备和存储介质

说明书

本公开的实施例提供了语音识别方法、装置、设备和存储介质。所述方法包括获取当前待识别语音信号的语音特征序列；将所述语音特征序列输入预先训练得到的Deep‑FSMN模型，得到表示各个音素的概率的输出序列；将所述输出序列输入预先训练的CTC模型，得到对应的音素序列；将所述音素序列输入语言模型，转换成最终的文字序列作为识别结果。以此方式，可以提升模型性能，减少语音识别的时延；减少了运算量，提高了语音识别效果。

技术领域

本公开的实施例一般涉及语音识别技术领域，并且更具体地，涉及语音识别方法、装置、设备和存储介质。

背景技术

语音识别技术一直都是人机交互技术的重要组成部分。有了语音识别技术，机器就可以像人类一样听懂说话，进而能够思考、理解和反馈。

近几年随着深度学习技术的使用，基于深度神经网络(Deep Neural Network，DNN)的语音识别系统性能获得了极大的提升，开始走向实用化。基于语音识别的语音输入、语音转写、语音检索和语音翻译等技术得到了广泛的应用。http://www.sohu.com/a/234590313_629652

目前主流的语音识别系统普遍采用基于深度神经网络和隐马尔可夫(DeepNeural Networks-Hidden Markov Model，DNN-HMM)的声学模型。通过在前馈全连接神经网络(Feedforward Fully-connected Neural Networks,FNN)的隐层添加一些可学习的记忆模块，得到前馈型序列记忆网络FSMN(Feed-forward Sequential Memory Network)模型，可以有效地对语音的长时相关性进行建模。

但是，现有的FSMN模型很难训练非常深的结构，会由于梯度消失问题导致训练效果不好；并且，解码延迟较大，无法满足对语音识别系统的实时性的要求。

发明内容

在本公开的第一方面，提供了一种语音识别方法。该方法包括获取当前待识别语音信号的语音特征序列；将所述语音特征序列输入预先训练得到的Deep-FSMN模型，得到表示各个音素的概率的输出序列；将所述输出序列输入预先训练的CTC模型，得到对应的音素序列；将所述音素序列输入语言模型，转换成最终的文字序列作为识别结果。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述待识别语音信号为采用VAD算法检测语音所采集到的语音信号，以batch为单位。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述语音特征序列为对数功率谱或梅尔频率倒谱系数特征。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述Deep-FSMN模型包括输入层、N个Deep-FSMN层、输出层，N为大于等于1的正整数；每个Deep-FSMN层包括线性函数层、激活函数层、记忆模块；记忆模块之间添加了跳跃连接；所述Deep-FSMN模型采用注意力机制。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述Deep-FSMN模型通过teachers-student框架训练得到，包括使用人工标注的小规模语音样本数据训练一个非流式大模型；将未人工标注的大规模语音样本输入训练后的“非流式”大模型，将输出结果作为所述语音样本label；使用所述label及对应的语音数据训练一个流式小模型。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述非流式大模型的深度大于流式小模型的深度；所述非流式大模型的记忆模块的阶数大于流式小模型的记忆模块的阶数。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，针对VAD识别到的最后一个batch，将记忆模块的提取未来时刻帧的阶数设置为零。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述Deep-FSMN模型的输入输出采用低帧率LFR建模方案。