[发明专利]一种基于深度学习的端对端语音识别系统

权利要求书

1.一种基于深度学习的端对端语音识别系统，其特征在于，包括：

声学模型，依次包括VGG-Net层、第一全连接层、双向RNN层、第二全连接层、Softmax层及CTC层，用于提取音频的二维FBank特征后，经所述VGG-Net层、第一全连接层、双向RNN层、第二全连接层、经Softmax层及CTC层处理后，得到每个时间步的归一化概率分布，再根据时间步归一化概率分布的熵值结果输出候选拼音序列；

语言模型，与所述声学模型相连接，包括依次连接的Transformer编码器以及n-gram模型；所述Transformer编码器用于根据输入的候选拼音序列，输出与所述汉语拼音序列等长的汉字序列，所述n-gram模型，用于对Transformer编码器所输出的汉字序列处理，选出目标汉字文本输出。

2.根据权利要求1所述基于深度学习的端对端语音识别系统，其特征在于，所述VGGNet层包括多个VGG块，前面多个VGG块包括两个卷积核为3*3卷积层以及一个2*2的最大池化层，每进行一次卷积后对通道数翻倍，以减少由于最大池化层采样而带来的信息损失；最后两个VGG块包括两个卷积核为3*3卷积层，不使用最大池化层，以加大模型层数以用来学习声学信息中更加深层的信息。

3.根据权利要求1所述基于深度学习的端对端语音识别系统，其特征在于，所述的双向RNN层采用是的GRU结构。

4.根据权利要求1所述基于深度学习的端对端语音识别系统，其特征在于，经所述Softmax层及CTC层处理后，每一个时间步的输出是一个长度为最小声学单位数的归一化概率分布，在该归一化概率分布中，每一个分量表示在该时间步上对应某个字符的概率。