[发明专利]混合语音的识别方法及装置、存储介质、电子装置

说明书

本发明提供了一种混合语音的识别方法及装置、存储介质、电子装置，其中，该方法包括：获取待音素识别的混合语音，其中，所述混合语音包括中文单词和英文单词；从所述混合语音中提取英文非缩写单词；采用第一预设字素序列到音素序列G2P模型识别所述英文非缩写单词的第一音素信息，其中，所述第一预设G2P模型通过中文音素的解码结果训练得到，包括英文单词与中文音素之间的映射序列。通过本发明，在节省人工成本同时追求声学上高度相似的映射标注，实现了一种质量可靠的英文发音方案。解决了相关技术中音素识别混合语音的效率低的技术问题。

技术领域

本发明涉及语音识别领域，具体而言，涉及一种混合语音的识别方法及装置、存储介质、电子装置。

背景技术

相关技术中，中英文混合语音识别是指对说话人说话过程中同时包含中文和英文语言的自动语音识别(ASR，Automatic Speech Recognition)，在英语越来月普及的今天，对大多数中国人群而言，中英文混合沟通逐渐成为一种普遍的现象。在中国人群的中英文对话中，中文部分仍然是主体语言，根据中英文的切换类型可分为“句中切换”即英文词穿插在中文语句中，另一种是“句间切换”即中英文整体语句存在切换。相比较传统的单语言自动语音识别技术，混合语言的语音识别识别技术特别是具有“句中切换”的混合语音识别的挑战在于缺乏充足的语音/文本数据训练面向该场景的声学/语音模型。此外，针对“句中切换”类型，在拥有相对充足训练数据的中文声学模型的前提下，希望拓展其对英文的识别能力，其中关键技术是获取高质量英文词发音即由可靠的中文音素序列表征该英文词的发音，从而构建中英文混合发音词典。同时在n-gram语言模型中保留英文内容，因此在一定程度上实现中英文混合语音识别。过去数十年，人们致力于研究面向语音识别的通过声学数据驱动的发音词典学习，即为拥有音频而无标注的单词自动标音。在实际应用中，一般拥有一套音素单元集合和一定的基于专家知识的发音词典，但是对于诸多集外词(OOV，out-of-vocabulary)的发音并未能涵盖。通常最直接的方法是使用基于专家知识的种子词典训练一个G2P(Grapheme to Phoneme)模型，然后通过该模型给出OOV的发音。但是对于一些专有词的发音，G2P可能不会给出合适的标注，对此音素解码通过声学上解码给出单词的贴近真实场景的发音，往往音素解码方法会和G2P工具配合使用给出单词的多个候选发音。

相关技术中，针对中英文混合语音识别任务，当前主流的ASR框架是训练混合声学模型和混合语言模型。其中对于中英文混合声学模型，需要大量的中英文混合的语音和标注数据作为训练材料，但是相比较中文(单语言)的训练数据，中英文混合数据是十分稀少的，并且重新训练一个中英文混合识别的专用声学模型成本也比较高，此外对于中英文声学模型的建模单元即中文和英文的音素集合合并处理也是一个难点问题，如果使用常规的英文声学模型(英文单词与英文音素之间的映射)进行识别，又需要切换模型，影响识别时间。此外还存在中文为母语的说话人其发音的英文，和以英文为母语的说话人的英文还有差异的问题。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

本发明实施例提供了一种混合语音的识别方法及装置、存储介质、电子装置。

根据本发明的一个实施例，提供了一种混合语音的识别方法，包括：获取待音素识别的混合语音，其中，所述混合语音包括中文单词和英文单词；从所述混合语音中提取英文非缩写单词；采用第一预设字素序列到音素序列G2P模型识别所述英文非缩写单词的第一音素信息，其中，所述第一预设G2P模型通过中文音素的解码结果训练得到，包括英文单词与中文音素之间的映射序列。

可选的，在采用第一预设G2P模型识别所述英文单词的第一音素信息之前，所述方法还包括：通过音素解码和择优算法生成指定词集的种子词典，其中，所述指定词集为中英文样本语料中的英文词；采用所述种子词典训练生成所述第一预设G2P模型，其中，所述第一预设G2P模型为基于Seq2Seq网络的G2P模型。