[发明专利]一种基于深度学习的端对端语音识别系统

说明书

本发明公开基于深度学习的端对端语音识别系统，包括：声学模型，依次包括VGG‑Net层、第一全连接层、双向RNN层、第二全连接层、Softmax层及CTC层，用于提取音频的二维FBank特征经网络处理获得每个时间步的概率分布，根据时间步概率分布的熵值结果输出候选拼音序列；语言模型，与声学模型连接，包括Transformer编码器以及n‑gram模型；Transformer编码器用于根据输入的候选拼音序列，输出等长的汉字序列，n‑gram模型，用于对输出的汉字序列处理，选出目标汉字文本输出。本发明能得到最符合当前语境和人类表达习惯的最终识别结果。

技术领域

本发明涉及语音识别技术领域，特别是涉及一种基于深度学习的端对端语音识别系统。

背景技术

语音识别，用于将语音转换为对应文本，一般包括声学模块与语言模块两个基础模块。对于输入的语音信号，声学模块负责对信号的特征进行提取，并计算语音到音节(或其他最小单位)的概率，而语言模块利用语言模型，将最小单位转化为人类或计算机可以理解的完整的自然语言。

当前语音识别分为两种，一是概率模型方法，二是深度学习方法。对于前者，最典型的是基于隐马尔可夫模型(HMM)与混合高斯分布(GMM)的语音识别模型(HMM-GMM)，它首先对音频进行毫秒级别的分帧，并对每一帧提取声学特征(包括FBank、MFCC)，对每一帧，采用GMM计算混合分布模型的期望与协方差，从而获得每一帧对应的每一个HMM状态的概率值，并计算HMM中不同状态之间的转换概率。

对于深度学习的方法，比较经典的DeepSpeech2模型同样是将模型分为声学模型与语言模型两部分。对于声学模型，分别采用CNN和RNN学习发音特征与信号的静动态特性，最后通过全连接网络，采用CTC作为训练目标，输出最小单位的后验概率。对于语言模型，直接将n-gram加入到损失函数，从而习得目标语言的上下文信息。

上述两种解决方法均有一定缺点，对于前者，模型并不能利用每一帧的上下文信息，即不能利用历史信息来辅助当前任务。另外，该模型假定帧与状态之间服从高斯分布，虽然简化了模型，但有很大局限性。对于后者，该模型虽然能达到较好的收敛效果，但由于RNN本身的循环结构，较多的RNN单元使得训练时间较长，难以并行化。

发明内容

本发明的目的是针对现有技术中存在的技术缺陷，而提供一种基于深度学习的端对端语音识别系统。

为实现本发明的目的所采用的技术方案是：

一种基于深度学习的端对端语音识别系统，包括：

声学模型，依次包括VGG-Net层、第一全连接层、双向RNN层、第二全连接层、Softmax层及CTC层，用于提取音频的二维FBank特征后，经所述VGG-Net层、第一全连接层、双向RNN层、第二全连接层、经Softmax层及CTC层处理后，得到每个时间步的归一化概率分布，再根据时间步归一化概率分布的熵值结果输出候选拼音序列；

语言模型，与所述声学模型相连接，包括依次连接的Transformer编码器以及n-gram模型；所述Transformer编码器用于根据输入的候选拼音序列，输出与所述汉语拼音序列等长的汉字序列，所述n-gram模型，用于对Transformer编码器所输出的汉字序列处理，选出目标汉字文本输出。

其中，所述VGG Net层包括多个VGG块，前面多个VGG块包括两个卷积核为3*3卷积层以及一个2*2的最大池化层，每进行一次卷积后对通道数翻倍，以减少由于最大池化层采样而带来的信息损失；最后两个VGG块包括两个卷积核为3*3卷积层，不使用最大池化层，以加大模型层数以用来学习声学信息中更加深层的信息。

优选的，所述的双向RNN层采用是的GRU结构。