[发明专利]一种在线端对端语音转写方法及系统

权利要求书

1.一种在线端对端语音转写方法，包括：

获取音频文件，对所述音频文件提取声学特征，包括：

对获取的音频文件提取对数梅尔谱特征作为帧级别声学特征；

对所述声学特征进行非线性变换和降采样并输出第一特征序列；

将第一特征序列进行分块，依次将每块特征序列输入到编码器中并输出多组第二特征序列；

对所述第二特征序列进行建模，输出多组汉字序列并对所述多组汉字序列进行打分；

其中，构建基于自注意力机制的在线解码器，所述解码器对第二特征序列进行建模，并对输出的多组汉字序列进行打分；

所述解码器由6个相同的子模块堆叠组成，其中每个子模块由一层自注意力网络、一层残差网络、一层层规范化网络、一层截断注意力网络、一层残差网络、一层层规范化网络、一层全连接网络、一层残差网络和一层层规范化网络构成；

所述截断注意力网络对所述第二特征序列中的输出特征逐个进行处理，确定截断点，将所述第二特征序列截断为多个子序列计算输出特征，并将所述输出特征送入其它子模块进行处理得到最终的输出特征；

将最终的输出特征输入汉字分类器进行打分；

将分数最高的汉字序列作为最终转写结果。

2.根据权利要求1所述的方法，其特征在于，所述编码器为基于自注意力机制的在线编码器；

所述编码器由12个相同的子模块堆叠组成，每个子模块依次由自注意力网络、残差网络、层规范化网络、全连接网络、残差网络和层规范化网络堆叠组成。

3.根据权利要求1所述的方法，其特征在于，所述解码器对第二特征序列进行建模，并对输出的多组汉字序列进行打分包括：

将多组第二特征序列依次通过所述解码器的6个子模块，将最后一个子模块的层规范网络的输出特征输入汉字分类器；

所述汉字分类器输出多组汉字以及每组汉字对应的分数；

取排名前十的汉字分别输入解码器输出下一个汉字，直到解码器输出终止符为止。

4.一种在线端对端语音转写系统，包括：

采集单元：用于采集音频，并对所述音频提取声学特征，包括：

对获取的音频文件提取对数梅尔谱特征作为帧级别声学特征；

处理单元：用于对采集单元提取的声学特征进行非线性变换和降采样并输出第一特征序列；将第一特征序列进行分块，依次将每块特征序列输入到编码器中并输出多组第二特征序列；

所述处理单元还用于，对所述第二特征序列进行建模，输出多组汉字序列并对所述多组汉字序列进行打分；

其中,所述处理单元构建了基于自注意力机制的在线解码器，所述解码器对第二特征序列进行建模，并对输出的多组汉字序列进行打分；

所述解码器由5个相同的子模块堆叠组成，其中每个子模块由一层自注意力网络、一层残差网络、一层层规范化网络、一层截断注意力网络、一层残差网络、一层层规范化网络、一层全连接网络、一层残差网络和一层层规范化网络构成；

所述截断注意力网络对所述第二特征序列中的输出特征逐个进行处理，确定截断点，将所述第二特征序列截断为多个子序列计算输出特征，并将所述输出特征送入其它子模块进行处理得到最终的输出特征；

将最终的输出特征输入汉字分类器进行打分；

输出单元：用于将处理单元输出的汉字序列中分数最高的汉字序列作为最终转写结果，并输出。

5.根据权利要求4所述的系统，其特征在于，所述编码器为基于自注意力机制的在线编码器；

所述编码器由12个相同的子模块堆叠组成，每个子模块依次由自注意力网络、残差网络、层规范化网络、全连接网络、残差网络和层规范化网络堆叠组成。

6.根据权利要求4所述的系统，其特征在于，所述解码器对第二特征序列进行建模，并对输出的多组汉字序列进行打分包括：

将多组第二特征序列依次通过所述解码器的6个子模块，将最后一个子模块的层规范网络的输出特征输入汉字分类器；

所述汉字分类器输出多组汉字以及每组汉字对应的分数；

取排名前十的汉字分别输入解码器输出下一个汉字，直到解码器输出终止符为止。