[发明专利]基于神经网络的自动语音识别方法、设备及可读存储介质

权利要求书

1.一种基于神经网络的自动语音识别方法，应用于电子设备，其特征在于，所述方法包括：

通过ASR识别进程中的声学模型和ngram语言模型共同对待识别的音频进行识别处理，获取至少两个以上的初次识别结果；其中，每个识别结果包括声学模型得分、ngram语言模型得分及所述声学模型得分与所述ngram语言模型得分之和；

将所有的初次识别结果传输至rescore进程，并通过rescore进程中的gpt语言模型对每个初次识别结果进行评分处理，获取所有的初次识别结果的gpt语言模型得分，其中，所述rescore进程为重打分的进程，所述gpt语言模型为生成性预训练模型；

将所述gpt语言模型得分传输至所述ASR识别进程，并替换所述ASR识别进程中的ngram语言模型得分；

对所述gpt语言模型得分与所述声学模型得分之和进行排序，并将排序结果中排序最前的识别结果作为最终识别结果。

2.如权利要求1所述的基于神经网络的自动语音识别方法，其特征在于，

所述通过ASR识别进程中声学模型和ngram语言模型共同对待识别的音频进行识别处理，获取至少两个以上的初次识别结果，包括如下步骤：

将所述待识别的音频转化为音频特征；

根据所述音频特征获取所述音频特征中每帧的后验概率；

根据所述每帧的后验概率，对ngram语言模型生成的wfst图进行viterbi解码生成lattice图；以及

根据所述lattice图，获取至少两个以上的初次识别结果。

3.如权利要求2所述的基于神经网络的自动语音识别方法，其特征在于，所述将所述待识别的音频转化为音频特征，包括如下步骤：

对所述待识别音频进行分帧、加窗处理，获取规范音频；以及

通过MFCC特征提取算法对所述规范音频进行特征提取，获取所述待识别音频的音频特征。

4.如权利要求2所述的基于神经网络的自动语音识别方法，其特征在于，所述根据所述音频特征获取所述音频特征中每帧的后验概率，包括如下步骤：

将所述音频特征提取为音频特征向量序列；

将所述音频特征向量序列输入预先训练好的声学模型，确定音素状态的时间边界；

根据所述时间边界，提取所述时间边界内的所有帧，按语音帧的帧长取平均值，作为所述语音帧的后验概率。

5.如权利要求2所述的基于神经网络的自动语音识别方法，其特征在于，

所述根据所述每帧的后验概率，对ngram语言模型生成的wfst图进行viterbi解码生成lattice图，包括如下步骤：

将所述ngram语言模型建模生成arpa格式的语言模型；

利用arpa2fst工具生成hclg结构的wfst图；

根据所述viterbi、所述后验概率及所述wfst图构建wfst搜索空间；

在所述wfst搜索空间内寻找匹配概率最大的最优路径，得到文字识别结果。

6.如权利要求1所述的基于神经网络的自动语音识别方法，其特征在于，

所述将所述识别结果传输至rescore进程，并通过rescore进程中的gpt语言模型进行处理，获取gpt语言模型得分，包括如下步骤：

在预设时间内，将待重打分的语句拼凑成批量的待重新打分语句；

通过gpt语言模型对批量的待重新打分语句做神经网络前向推理；

累加所述待重新打分语句的每个词的后验概率，并以对数形式输出，以获取待重新打分语句的gpt语言模型得分。