[发明专利]一种结合Transformer的轻量化中文语音识别方法

说明书

本发明提供一种结合Transformer的轻量化中文语音识别方法，属于语音识别领域。首先使用深度可分离卷积获得音频特征信息；其次构建了双半步剩余权重前馈神经网络层：Macaron‑Net结构，并引入低秩矩阵分解，实现了模型压缩。为了验证模型，在不使用任何语言模型的前提下，本发明在Aishell‑1和aidatatang_200zh数据集上进行了测试。实验结果显示，本发明模型与Open‑Transformer相比，本发明模型在字错误率上相对下降了19.8％，在实时率上相对下降了32.1％。

技术领域

本发明属于语音识别领域，具体涉及一种结合Transformer的轻量化中文语音识别方法。

背景技术

语音识别(Automatic Speech Recognition)作为一个由计算机科学和计算机语言学(computational linguistics)组成的跨学科分支，搭建起人与机器沟通的桥梁。深度学习兴起之前，语音识别模型主要是基于高斯模型和隐马尔可夫模型的混合模型(Gaussian Mixture Model-Hidden Markov Model,GMM-HMM)。然而，GMM-HMM对频谱图的修改会导致原始语音信息的丢失；深度学习技术旨在减少此类信息损失，并从原始数据中搜索更有效的音频特征表示。因此，GMM也被深度神经网络(Deep Neural Network,DNN)替代，整体框架变为DNN-HMM。然而，以HMM为代表的传统模型有着处理流程复杂和训练时间长的缺陷，阻碍了语音识别技术的发展。随着计算机算力的提高，端到端的语音识别系统将声学模型与字典结合到一起，缩短了模型的训练时间；端到端的模型因此成为了热门研究对象。2017年，Vaswani等人提出了基于自注意力机制的模型Transformer【Vaswani A,ShazeerN,Parmar N,et al.Attention Is All You Need[C]//31st Conference on NeuralInfor-mation Processing Systems(NIPS 2017),Long Beach,CA,USA,December 4-9,2017.】，在机器翻译和文本生成等领域展现出了强大的识别能力。随后，Linhao Dong等人将Transformer应用到语音识别领域，提出了Speech-Transformer模型【Dong L,Shuang X,Bo X.Speech-Transformer:A No-Recurrence Sequence-to-Sequence Model for SpeechRecognition[C]//2018IEEE International Conference on Acoustics,Speech andSignal Processing(ICASSP 2018),Calgary,AB,Canada,April 15-20,2018.Piscataway:IEEE,2018:5884-5888.】；基于Transformer的端到端语音识别系统也成为了众多研究人员的研究热门对象。由于Transformer没有在其结构中显式地建模位置信息，因此使用了位置编码(Positional Encoding)来捕捉位置关系。然而绝对位置编码在过长文本中会丢失相对位置信息，于是Zihang Dai等人提出了相对位置编码(Relative PositionRepresentation)，极大地提高了训练文本的长度【Dai Z,Yang Z,Yang Y,etal.Transformer-XL:Attentive Language Models beyond a Fixed-Length Context[C]//The 57th Annual Meeting of the Association forComputational Linguistics(ACL 2019),Florence,Italy,July 28–August 2,2019.】。Gulati等人发现Transformer的注意力机制善于捕捉全局信息，而卷积神经网络(Convolutional Neural Network,CNN)善于提取局部信息；并因此提出了将CNN与Transformer相结合的模型:Conformer【Gulati A,Qin J,Chiu C C,et al.Conformer:Convolution-augmented Transformer for SpeechRecognition[C]//21st Annual Conference of the International SpeechCommunication Association(Interspeech 2020),Shang-hai,China,October 25-29,2020.】。