[发明专利]一种中英文混合语音识别方法及装置

说明书

本发明适用于语音识别技术领域，提供了一种中英文混合语音识别方法及装置，方法包括：获取语音训练样本，语音训练样本采样于中英文语料库，中英文语料库包括中文语料库、英文语料库、中英文混合语料库；通过语音训练样本对LSTM‑CTC端到端网络进行训练，并修改LSTM‑CTC端到端网络的softmax层，以使softmax层输出的字符为Unicode编码方式；根据softmax层输出的字符获得语音识别网络模型；将待识别语音输入语音识别网络模型，并通过RNN‑LM语言模型对语音识别网络模型的输出进行处理，获得基于待识别语音的语音识别结果；其中，RNN‑LM语言模型由语音训练样本的文本训练获得。通过本发明能够有效提高根据LSTM‑CTC端到端网络建立语音识别网络模型的过程中，CTC的解码效率，提升识别性能。

技术领域

本发明涉及语音识别技术领域，尤其涉及一种中英文混合语音识别方法及装置。

背景技术

随着生活的全球化，使用混合语言交流的现象已经成为一种普遍现象。据统计，讲多语言的人要多于讲单语言的人。混合语言之间的声学和语言之间的复杂性给语音识别带来挑战。因此，混合语言声学模型的研究是一个重要的研究方向。

目前，LSTM(Long Short-Term Memory，长短期记忆网络)是一种时间循环神经网络，CTC(Connectionist Temporal Classification，连接主义时间分类)算法边缘化和浓缩了所有可能的逐帧输出符号序列，并且在TIMIT数据集上取得良好识别率，其中，是IT和MIT合作音素级别标注的语音库,用于自动语音识别系统的发展和评估。综上，LSTM-CTC是现在主流的一种针对单一语种的端到端的语言识别系统。

因此，基于混合语言声学模型，目前的主流方法还是通过组合多个基于深度学习语音识别的模型来实现，其中，每个模型对应一种语言，但是，这种模型不但增加了网络的参数量，同时在训练及识别阶段，也不利于考虑到语音的时间长相关问题。

发明内容

本发明的主要目的在于提出一种中英文混合语音识别方法及装置，以解决现有技术中实现混合语言声学模型的方法模型的网络参数量大、语音识别性能差的问题。

为实现上述目的，本发明实施例第一方面提供一种中英文混合语音识别方法，包括：

获取语音训练样本，所述语音训练样本采样于中英文语料库，所述中英文语料库包括中文语料库、英文语料库、中英文混合语料库；

通过所述语音训练样本对LSTM-CTC端到端网络进行训练，并修改所述LSTM-CTC端到端网络的softmax层，以使所述softmax层输出的字符为Unicode编码方式；

根据所述softmax层输出的字符获得语音识别网络模型；

将待识别语音输入所述语音识别网络模型，并通过RNN-LM语言模型对所述语音识别网络模型的输出进行处理，获得基于所述待识别语音的语音识别结果；

其中，所述RNN-LM语言模型由所述语音训练样本的文本训练获得。

结合本发明第一方面，本发明第一实施方式中，所述LSTM-CTC端到端网络包括LSTM网络模型、CTC计算模块和字符压缩模块；

所述LSTM网络模型包括输入层、隐藏层、输出层；

所述softmax层为所述输出层；

所述LSTM网络模型中设置有跳帧学习方法和参数平滑学习方法，用于辅助所述LSTM-CTC端到端网络的训练。

结合本发明第一方面，本发明第二实施方式中，通过所述语音训练样本对LSTM-CTC端到端网络进行训练，并修改所述LSTM-CTC端到端网络的softmax层，以使所述softmax层输出的字符为Unicode编码方式，之前包括：