[发明专利]流式语音识别方法、终端设备及介质

权利要求书

1.一种流式语音识别方法，其特征在于，所述流式语音识别方法包括：

获取词嵌入特征序列以及音频流对应音频特征序列；

通过音频编码器对所述音频特征序列进行编码，得到音频上下文序列，以及根据标签编码器对所述词嵌入序列进行编码，得到文本上下文序列，其中，所述音频编码器和所述标签编码器为基于相对位置编码的自注意力编码器；

将所述音频上下文序列和所述文本上下文序列输入联合解码器，得到标签的概率分布结果，并根据所述概率分布结果确定识别结果。

2.根据权利要求1所述的流式语音识别方法，其特征在于，所述通过音频编码器对所述音频特征序列进行编码，得到音频上下文序列，以及根据标签编码器对所述词嵌入序列进行编码，得到文本上下文序列的步骤之前，还包括：

检测预设的掩膜窗口是否填满；

在所述掩膜窗口已填满时，更新位置编码序列；

基于更新后的所述位置编码序列执行所述通过音频编码器对所述音频特征序列进行编码，得到音频上下文序列，以及根据标签编码器对所述词嵌入序列进行编码，得到文本上下文序列的步骤。

3.根据权利要求2所述的流式语音识别方法，其特征在于，所述音频编码器将所述音频特征序列作为输入向量，所述标签编码器将所述词嵌入序列作为输入向量。

4.根据权利要求3所述的流式语音识别方法，其特征在于，所述通过音频编码器对所述音频特征序列进行编码，得到音频上下文序列，以及根据标签编码器对所述词嵌入序列进行编码，得到文本上下文序列的步骤包括：

所述音频编码器和标签编码器根据所述输入向量以及所述位置编码序列确定注意力权重系数；

根据所述权重系数和所述输入向量进行加权计算，得到初始结果；

将所述初始结果输入对应的前馈网络层，得到所述音频上下文序列和所述文本上下文序列。

5.根据权利要求2所述的流式语音识别方法，其特征在于，所述音频特征序列中对应的各个音频特征向量之间的相对位置，根据所述音频特征向量在所述音频特征序列中的绝对位置确定。

6.根据权利要求2所述的流式语音识别方法，其特征在于，所述检测预设的掩膜窗口是否填满的步骤之前，还包括：

获取识别系统的当前负载情况，并根据所述当前负载情况确定所述掩膜窗口的窗口大小。

7.根据权利要求1所述的流式语音识别方法，其特征在于，所述获取词嵌入特征序列以及音频流对应音频特征序列的步骤之前，还包括：

接收音频数据流；

所述获取词嵌入特征序列以及音频流对应音频特征序列的步骤包括：

基于所述音频数据流生成所述音频特征序列，并获取所述词嵌入特征序列，所述音频特征序列为梅尔频率倒谱系数或者梅尔滤波器组系数。

8.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的流式语音识别程序，所述流式语音识别程序被所述处理器执行时实现如权利要求1至7中任一项所述的流式语音识别方法的步骤。

9.一种终端设备，其特征在于，所述终端设备包括：

获取模块，用于获取词嵌入特征序列以及音频流对应音频特征序列；

编码模块，用于通过音频编码器对所述音频特征序列进行编码，得到音频上下文序列，以及根据标签编码器对所述词嵌入序列进行编码，得到文本上下文序列，其中，所述音频编码器和所述标签编码器为基于相对位置编码的自注意力编码器；

解码模块，用于将所述音频上下文序列和所述文本上下文序列输入联合解码器，得到标签的概率分布结果，并根据所述概率分布结果确定识别结果。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有流式语音识别程序，所述流式语音识别程序被处理器执行时实现如权利要求1至7中任一项所述的流式语音识别方法的步骤。