[发明专利]实时语音识别方法、模型训练方法、装置及设备

权利要求书

1.一种实时语音识别方法，其特征在于，所述方法包括：

在采集目标语音数据的过程中，获取所述目标语音数据的待识别块的音频特征序列，所述待识别块包括所述目标语音数据中的至少两个连续的帧，所述待识别块的音频特征序列包括所述待识别块所包含的各个帧的音频特征；

复用所述待识别块对应的历史块的处理结果，对所述待识别块的音频特征序列进行编码处理，得到所述待识别块的隐层特征序列，所述隐层特征序列包括所述待识别块所包含的各个帧的隐层特征；其中，所述历史块是指与所述待识别块具有至少一个重叠的帧，且已经过编码处理的块；

根据所述隐层特征序列，解码得到所述待识别块的实时语音识别结果。

2.根据权利要求1所述的方法，其特征在于，所述复用所述待识别块的历史块的处理结果，对所述待识别块的音频特征序列进行编码处理，得到所述待识别块的隐层特征序列，包括：

从缓存区存储的数据中，获取所述历史块的处理结果；

通过实时语音识别模型的编码器根据所述历史块的处理结果，对所述待识别块的音频特征序列进行编码处理，得到所述待识别块的隐层特征序列。

3.根据权利要求2所述的方法，其特征在于，所述编码器包括n个串联的编码层，n为大于1的整数；

所述编码层包括多头自注意力模块和卷积模块，所述多头自注意力模块用于采用多头自注意力机制对输入的特征序列进行处理，所述卷积模块用于对输入的特征序列进行卷积处理；

所述缓存区包括第一缓存区和第二缓存区，所述第一缓存区用于存储所述多头自注意力模块针对所述历史块的处理结果，所述第二缓存区用于存储所述卷积模块针对所述历史块的处理结果。

4.根据权利要求3所述的方法，其特征在于，所述编码层还包括第一前馈模块、第二前馈模块和层归一化模块；

所述第一前馈模块用于对输入特征序列进行前馈处理，得到第一中间特征序列；

所述多头自注意力模块用于采用多头自注意力机制对所述第一中间特征序列进行处理，得到第二中间特征序列；

所述卷积模块用于对所述第二中间特征序列进行卷积处理，得到第三中间特征序列；

所述第二前馈模块用于对所述第三中间特征序列进行前馈处理，得到第四中间特征序列；

所述层归一化模块用于对所述第四中间特征序列进行归一化处理，得到输出特征序列。

5.根据权利要求4所述的方法，其特征在于，所述卷积模块用于对当前帧的第二中间特征和所述当前帧的至少一个历史帧的第二中间特征进行卷积处理，得到所述当前帧的第三中间特征。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述待识别块包括：至少一个有效帧、位于所述有效帧之前的至少一个历史帧，以及位于所述有效帧之后的至少一个未来帧。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

基于当前语音识别场景的时延需求，确定所述未来帧的数量。

8.一种实时语音识别模型的训练方法，其特征在于，所述方法包括：

获取样本语音数据的音频特征序列，所述音频特征序列包括所述样本语音数据的多个帧的音频特征；

将所述音频特征序列输入至所述实时语音识别模型的编码器，通过所述编码器对所述音频特征序列进行编码处理，得到所述样本语音数据的隐层特征序列，所述隐层特征序列包括所述多个帧的隐层特征；其中，所述编码器以块为单位进行编码处理，每个块包括所述多个帧中的至少两个连续的帧，且相邻两个块之间存在至少一个重叠的帧，所述编码器在对第一块进行编码处理时，复用与所述第一块具有重叠帧的至少一个第二块的处理结果；

通过所述实时语音识别模型的解码器根据所述隐层特征序列，解码得到所述样本语音数据的预测识别结果；

基于所述样本语音数据的预测识别结果和真实识别结果，对所述实时语音识别模型进行训练。