[发明专利]基于触发式非自回归模型的语音识别方法及系统

说明书

本发明公开了基于触发式非自回归模型的语音识别方法及系统，方法包括：S11，提取声学特征序列；S12，生成卷积降采样序列；S13，生成声学编码状态序列；S14，计算预测标记的概率分布和联结时序损失；S15，计算尖峰的位置和个数；S16，声学解码器计算交叉熵损失；S17，根据联结时序损失和交叉熵损失的联合损失计算梯度，进行反向传播；S18，循环执行S12至S17，直至完成训练；系统包括：依次相互连接的声学特征序列提取模块、卷积降采样模块、声学编码器、联结时序分类模块、声学解码器、联合损失计算模块，联结时序分类模块包括线性变化模块、联结时序损失计算模块、尖峰抽取模块。

技术领域

本发明涉及电子信号处理技术领域，尤其是涉及了基于触发式非自回归模型的语音识别方法及系统。

背景技术

语音识别作为人机交互的入口，是人工智能领域中一个重要的研究方向。端到端语音识别丢弃了混合语音识别模型依赖的发音词典、语言模型和解码网络，实现了音频特征序列到文字序列的直接转换。作为序列到序列的模型的代表，语音转换器(Speech-Transformer)具有极强的序列建模能力。模型采用整段语音作为输入，经过编码器将输入语音编码为高层次的特征表示；解码器从起始符号开始，在编辑器输出的基础上，逐步的预测出对应的文本序列，直到预测到结束标记为止。这种解码方法我们称之为自回归式解码。自回归式解码依赖于过去时间生成的标记，这种时序依赖特性严重影响了解码的效率，并且很难通过GPU并行计算来进行加速，使得自回归模型部署于实时性要求比较高的场景有了一定的局限性。针对这一问题，本发明提出了一种基于触发式非自回归模型的语音识别方法。

发明内容

为解决现有技术的不足，提高语音识别解码的效率，提高语音识别实时性的目的，本发明采用如下的技术方案：

基于触发式非自回归模型的语音识别方法，包括如下步骤：

S11，获取语音训练数据和对应的文本标注训练数据，并提取一系列语音训练数据的特征，构成声学特征序列；

S12，将声学特征序列输入卷积降采样模块中，计算并输出卷积降采样序列；

S13，将卷积降采样序列输入声学编码器中，输出声学编码状态序列；

S14，将声学编码状态序列输入线性变换层，并结合文本标注训练数据计算联结时序损失，所述线性变换层用于计算得到预测标记的概率分布；

S15，根据预测标记的概率分布计算尖峰的位置和个数，非空格标记的概率大于触发阈值时，标记为一个尖峰位置，相邻的尖峰仅保留第一个，并存储尖峰位置；

S16，将尖峰位置对应的触发声学编码状态序列和声学编码状态序列输入声学解码器，并结合文本标注训练数据计算交叉熵损失；

S17，将联结时序损失和交叉熵损失进行加权，根据两者的联合损失计算梯度，进行反向传播，优化触发式非自回归模型；

S18，循环执行S12至S17，直至达到预设的训练结束条件，完成训练。

将声学编码状态序列输入一个线性变换层，计算得到预测标记的概率分布，并计算联结时序损失，辅助模型收敛，根据尖峰位置来获得初始化的解码器输入，尖峰个数表示了语句中所包含的标记个数，避免了冗余计算，避免了时序依赖，提高了解码速度，提升了解码的精度。

所述S11，通过对时域下的语音波形信号加窗分帧后进行离散傅里叶变换，提取特定频率分量的系数组成特征向量，一系列的特征向量构成语音特征序列，所述系数是梅尔频率倒谱系数或梅尔滤波器组系数。

所述S12，卷积降采样模块采用两层二维卷积，卷积核大小均为3×3，步长均为2，将输入特征序列降采样了4倍。