[发明专利]一种语音识别系统解码方法、系统及存储介质

权利要求书

1.一种语音识别系统解码方法，其特征在于，包括以下步骤：

S1、将待识别的语音数据进行预处理操作，得到语音特征帧序列；

S2、将语音特征帧序列送入已训练好的深度神经网络中，使用基于Dropout策略的蒙特卡洛采样方法，将深度神经网络在除输出层外的每一层随机执行Dropout，重复该操作N次，得到N个不同的深度神经网络，实现对同一个深度神经网络的充分采样；

S3、基于Dropout策略的蒙特卡洛采样方法，N个不同的深度神经网络对输入的语音特征帧序列进行前向传播过程，得到N路不同的深度神经网络的前向计算结果；

S4、将得到的N路不同的深度神经网络的前向计算结果送入解码器中，使用基于多路Dropout前向计算的同步合并无偏解码算法将N路不同的深度神经网络的前向计算结果在现有解码的集束搜索步骤中进行合并，得到无偏解码词图，其中合并的基本思想是：分别利用N路前向计算结果按照现有解码算法执行N路解码过程，N路解码过程同步、独立执行，且根据N路解码过程按照合并规则创建第N+1路虚拟的解码过程，第N+1路解码过程是前N路解码过程融合、合并的结果，第N+1路解码过程输出最终的解码结果。

2.根据权利要求1所述的语音识别系统解码方法，其特征在于，所述步骤S1中将待识别的语音数据顺序进行预加重、分帧加窗、离散傅里叶变换以及梅尔滤波器组预处理操作，得到语音特征帧序列。

3.根据权利要求1所述的语音识别系统解码方法，其特征在于，所述步骤S2中已训练好的深度神经网络，选自CNN、LSTM、RNN、TDNN、Transformer神经网络结构中的至少一种。

4.根据权利要求1所述的语音识别系统解码方法，其特征在于，所述步骤S4中N路解码过程的第1路、第2路、……、第N路解码过程同步、独立执行，均包括如下相同的搜索和剪枝步骤：

S41、在t时刻，现有解码程序遍历从t-1时刻到t时刻令牌链表中令牌的前向链接，根据设置好的前向链接链表剪枝阈值，计算令牌对应的前向链接弧对应数值与前向链接链表剪枝阈值的差值，然后将该差值与前向链接链表剪枝阈值进行比较，若是该差值大于前向链接链表剪枝阈值就把该令牌的这条前向链接剪掉，若是该差值小于等于前向链接链表剪枝阈值则保留该令牌的这条前向链接，并用该差值更新该令牌的现有差值，使令牌记录最低的差值，从而完成t-1时刻前向链接剪枝；

S42、在完成t-1时刻前向链接剪枝后，现有解码程序遍历当前时刻即t时刻的令牌链表，根据预先设置好的令牌链表剪枝阈值，判断令牌链表中到达该令牌的最优路径总损失值是否大于令牌链表剪枝阈值，若是则剪掉该令牌；

S43、在t-1时刻，对当前帧的令牌链表进行集束搜索，在t-1时刻的多个令牌链表剪枝结果的基础上，对当前时间步t的令牌链表进行合并，并在合并过程中计算当前帧令牌的tot_cost平均值，而tot_cost值采用下式计算：

tot_cost＝cur_cost+ac_cost+graph_cost

其中，cur_cost表示前一时刻即t-1时刻从某令牌沿对应的前向链接抵达当前时刻令牌的总损失值，ac_cost表示当前时刻即t时刻该令牌的声学得分，graph_cost表示从t-1时刻某令牌指向当前t时刻当前令牌的前向链接弧对应的数值，业内通用解码算法过程中均提供了graph_cost数值的计算方法；

S44、N路解码过程同步、独立执行，都同步处理同一帧语音数据，其令牌链表中的令牌也是一一对应的，每个令牌链表会保存最低tot_cost以及最低tot_cost对应的路径信息；按照基于多路Dropout前向计算的同步合并无偏解码算法，根据前N路解码过程，通过令牌合并规则和前向链接合并规则组成的合并规则创建出虚拟的第N+1路解码过程；其中，

第1路至第N路解码过程的令牌合并规则如下：

①、第1路至第N路解码的当前帧t-1时刻令牌链表中每个对应令牌的tot_cost求和后除以N得到平均值，同时为第N+1路解码创建对应的令牌，并将该平均值作为第N+1路解码创建令牌的tot_cost；

②、第1路至第N路解码的当前帧t-1时刻令牌链表的剪枝阈值求和后除以N得到N路令牌链表的剪枝阈值的平均值，将该平均值加上第N+1路解码对应的令牌链表令牌中所保存的最低tot_cost值，作为第N+1路解码中该帧t-1时刻令牌链表令牌剪枝的阈值；

第1路至第N路解码过程的令牌链表中前向链接合并规则如下：

对于t-1时刻令牌链表中的每个令牌，现有解码程序会遍历其前向链接，算出每一条前向链接与该时刻最优路径的tot_cost的差值link_extra_cost，如果该差值link_extra_cost大于lattice_beam，就剪掉该前向链接，否则token-extra_cost定义为该令牌所有前向链接的link_extra_cost中最小的一个，并保留该前向链接；如果前向链接被剪完，token-extra_cost会被置为无穷，在下一步会通过token-extra_cost来判定该令牌是否有前向链接；

S45、第N+1路解码过程中各帧数据对应的令牌及其剪枝阈值，以及令牌之间的前向链接及其剪枝阈值均由同步、独立执行的第1路至第N路解码过程中的令牌及其剪枝阈值、前向链接及其剪枝阈值合并得到，且第N+1路解码过程按照现有解码过程执行集束搜索和最优路径的回溯，所得语音信号对应的解码结果，即是基于多路Dropout前向计算的同步合并无偏解码算法的输出结果。