[发明专利]语音音素识别方法和装置、存储介质及电子装置

权利要求书

1.一种语音音素识别方法，其特征在于，包括：

采用共享编码器从按照时间顺序进行排序的多个语音帧中提取出与所述多个语音帧一一对应的多个第一语音特征，其中，所述共享编码器为连接时序分类CTC模型与目标注意力模型共享的编码器，所述共享编码器的输出为encoder output层，所述encoder output层的输出包括CTC准则下有效label的尖峰；

使用所述CTC模型从所述多个第一语音特征中确定出多个关键语音特征，其中，每个所述关键语音特征对应于所述CTC模型输出的所述多个语音帧中的一个尖峰位置，每个关键语音特征对应于音素集合中的一个音素的概率大于或者等于目标概率阈值；

确定出与每个所述关键语音特征对应的语音特征集合，其中，每个所述语音特征集合包括对应的所述关键语音特征，以及所述多个第一语音特征中与对应的所述关键语音特征相邻的一个或多个语音特征；

使用自注意力网络分别对每个所述语音特征集合中的语音特征进行特征融合，得到多个融合语音特征，其中，每个所述语音特征集合对应一个所述融合语音特征；

使用所述目标注意力模型的解码器在所述音素集合中分别识别出与每个所述融合语音特征对应的音素。

2.根据权利要求1所述的方法，其特征在于，在采用所述共享编码器从按照时间顺序进行排序的所述多个语音帧中提取出与所述多个语音帧一一对应的所述多个第一语音特征之前，所述方法还包括：

按照预定时长对目标语音数据进行划分，得到多个单元帧；

按照目标周期，从所述多个单元帧中确定出所述多个语音帧，其中，每个所述语音帧包括一个或所述多个单元帧。

3.根据权利要求1所述的方法，其特征在于，采用所述共享编码器从按照时间顺序进行排序的所述多个语音帧中提取出与所述多个语音帧一一对应的所述多个第一语音特征包括：

依次将所述多个语音帧中的每个语音帧输入到目标神经网络模型，其中，所述共享编码器包括所述目标神经网络模型，所述目标神经网络模型用于提取与所述每个语音帧对应的所述第一语音特征；

获取所述目标神经网络模型输出的所述多个第一语音特征。

4.根据权利要求1所述的方法，其特征在于，使用所述CTC模型从所述多个第一语音特征中确定出多个所述关键语音特征包括：

使用所述CTC模型从所述多个第一语音特征中确定出多个所述尖峰位置；

确定与多个所述尖峰位置对应的多个所述关键语音特征，其中，所述多个所述尖峰位置与多个所述关键语音特征一一对应。

5.根据权利要求1所述的方法，其特征在于，确定出与每个所述关键语音特征对应的所述语音特征集合包括：

确定出与所述多个关键语音特征中的当前关键语音特征对应的第二语音特征和第三语音特征，其中，所述第二语音特征为所述多个第一语音特征中在所述当前关键语音特征之前、且与所述当前关键语音特征不相邻的第一个关键语音特征，所述第三语音特征为所述多个第一语音特征中在所述当前关键语音特征之后、且与所述当前关键语音特征不相邻的第一个关键语音特征；

确定出与所述当前关键语音特征对应的当前语音特征集合，其中，所述当前语音特征集合为目标语音特征集合的子集合，所述目标语音特征集合包括所述第二语音特征、所述第三语音特征、以及所述第二语音特征与所述第三语音特征之间的所述第一语音特征。

6.根据权利要求1所述的方法，其特征在于，使用所述自注意力网络分别对每个所述语音特征集合中的语音特征进行特征融合，得到所述多个融合语音特征包括：

分别将每个所述语音特征集合中的语音特征输入到所述自注意力网络中，得到所述多个融合语音特征，其中，所述自注意力网络用于对每个所述语音特征集合中的语音特征进行加权求和，得到与每个所述语音特征集合对应的融合语音特征。