[发明专利]混合语音的识别方法及装置、存储介质、电子装置

权利要求书

1.一种混合语音的识别方法，其特征在于，包括：

获取待音素识别的混合语音，其中，所述混合语音包括中文单词和英文单词；

从所述混合语音中提取英文非缩写单词；

采用第一预设字素序列到音素序列G2P模型识别所述英文非缩写单词的第一音素信息，其中，第一预设G2P模型通过中文音素的解码结果训练得到，包括英文单词与中文音素之间的映射序列；

其中，在采用第一预设G2P模型识别所述英文单词的第一音素信息之前，所述方法还包括：通过音素解码和择优算法生成指定词集的种子词典，其中，所述指定词集为中英文样本语料中的英文词；采用所述种子词典训练生成所述第一预设G2P模型，其中，所述第一预设G2P模型为基于Seq2Seq网络的G2P模型，采用所述种子词典训练生成所述第一预设G2P模型包括：采用所述种子词典训练初始G2P模型，得到第一G2P模型；采用所述第一G2P模型对所述指定词集重新解码，对每个英文词生成n+i个预测结果，其中，所述种子词典中的每个英文词的映射序列包括n个候选发音，n为大于1的整数，i为大于0的整数；在所述n个候选发音和所述n+i个预测结果中择优重新选择n个候选发音作为训练数据，并继续迭代训练所述第一G2P模型，直到预测结果与测试集的混错率满足预设条件，将最新的G2P模型确定为所述第一预设G2P模型。

2.根据权利要求1所述的方法，其特征在于，通过音素解码和择优算法生成指定词集的种子词典包括：

针对所述指定词集中的每个英文词，从所述中英文样本语料的混合音频中获取英文词的指定音段；

采用中文音素级解码网络将所述指定音段解码为中文音素序列，其中，所述中文音素级解码网络包括中文声学模型和音素级语言模型；

根据所述中文音素序列生成与所述指定词集对应的种子词典。

3.根据权利要求2所述的方法，其特征在于，所述中文音素序列包括多个候选发音，根据所述中文音素序列生成与所述指定词集对应的种子词典包括：

针对指定词集中的每个英文词，将所述多个候选发音分别嵌入对应的混合音频，并计算平均发音的后验概率；

根据所述后验概率对所述多个候选发音进行排序，得到若干个最优的发音结果，并整合生成与所述指定词集对应的种子词典。

4.根据权利要求2所述的方法，其特征在于，从所述中英文样本语料的混合音频中获取英文词的指定音段包括：

采用所述中英文样本语料、中文发音词典、英文发音词典训练混合高斯混合模型-隐马尔科夫模型GMM-HMM模型；

采用训练后的混合GMM-HMM模型通过对齐得到所述英文词的片段时间戳；

基于所述片段时间戳在所述混合音频中提取所述英文词的指定音段。

5.根据权利要求1所述的方法，其特征在于，在获取待音素识别的混合语音之后，所述方法还包括：

从所述混合语音中提取中文单词和英文缩写单词；

采用第二预设G2P模型识别所述中文单词，得到所述中文单词的第二音素信息，采用字母发音表拼读所述英文缩写单词，得到所述英文缩写单词的第三音素信息，其中，所述第二预设G2P模型包括中文单词与中文音素之间的映射序列；

组合所述第一音素信息，所述第二音素信息，以及所述第三音素信息，得到所述混合语音的混合音素。