[发明专利]中英混合语音合成技术在汉语言教学中的应用的方法及系统

说明书

本发明属于语音技术领域，公开了一种中英混合语音合成技术在汉语言教学中的应用方法及系统，包括对中文中复杂符号的寻找并进行断句，对长句进行切分，逐次进行推理，并对结果进行拼接，采用中英文模型相结合的方法来寻找日常汉语会话中的外来词，通过对原始数据的预处理将大量的阿拉伯数字转为对应的汉字，再进行模型推理，实际测试表明，预处理后，汉语长句中数字发音的正确率达90％以上，本公司设计的教学场景下的中文女生语音合成系统，有效地提升了汉语言教学环节中复杂会话场景下的音频制作效率，可有效替代传统人工录制的方式，美股上市公司“流利说”在英语教学中引入人工智能技术有效提高教学场景下的音频内容制作效率。

技术领域

本发明属于语音技术领域，尤其涉及一种中英混合语音合成技术在汉语言教学中的应用方法及系统。

背景技术

目前，汉语言教学存在着众多复杂对话场景，人工录制方法费时费力，对录制设备及录制环境有较高的要求，出现发音问题就需要重新录制，效率极其低下。在汉语教学场景下，现有技术方案为：人工录制。缺陷在于，录制过程中，每出现一处发音错误，整句的录制就需要重新进行，据统计，一条20字的音频，平均需要录制五次。这一缺陷是由于人的不确定性(音色变化)、录制设备及录制环境的变化共同导致的，只要需要人的参与就不可避免。

通过上述分析，现有技术存在的问题及缺陷为：人工录制方法费时费力，对录制设备及录制环境有较高的要求，出现发音问题就需要重新录制，效率极其低下。并且，随着课程内容的持续更新，需要录制的内容存在长期需求，耗费人力物力。

解决以上问题及缺陷的难度为：现有条件(人工录制)下无法有效解决。

解决以上问题及缺陷的意义为：模型训练为一次性投入，实际部署完成后，可以根据需求动态生成教学音频，节省了音频录制方面的人员设备开支。

发明内容

针对现有技术存在的问题，本发明提供了一种中英混合语音合成技术在汉语言教学中的应用方法及系统。

本发明是这样实现的，一种中英混合语音合成技术在汉语言教学中的应用方法，所述中英混合语音合成技术在汉语言教学中的应用方法包括；

获取中文中存在的复杂符号；采用正则表达式对中文中的特殊符号进行匹配；

获取对长句中的符号位置；采用正则表达式中的finditer函数，对特殊符号进行匹配并返回其位置；

获取现代日常汉语会话中一定量外来词；汉语会话中主要出现的外来词为英语词汇，采用正则表达式对其进行匹配，并采用英文模型对匹配值的英文字符串进行推理，获取音频的ndarray.array数据；采用音素拼接技术，解决了英文中单个字母音频的合成问题，实现了满足中国人发音习惯的字母读音。

获取汉语中使用的阿拉伯数字。采用cn2an库对包含数字的汉语文本进行处理，将阿拉伯数字转换成对应的中文字符。

进一步，所述获取中文中存在的复杂符号，对数据集中只存在逗号和句号的使用情况，对原始输入进行预处理，包括：

(1)停顿，包括逗号、顿号、冒号、句号，在这些位置进行断句，单独成句并进行模型推理；

(2)不停顿，包括书名号、引号，对这些符号进行删除处理；

(3)导致语气变化，包括问号，保留并导入模型进行推理。

进一步，所述获取对长句中的符号位置，根据表示停顿的符号位置，对长句进行切分，逐次进行推理，并对结果进行拼接。

进一步，所述获取现代日常汉语会话中一定量外来词包括：在中文语境下，模型无法识别这些词语，采用中英文模型相结合的方法，设计算法对外来词和汉字进行区分，并分别交由英文模型和中文模型处理，对于出现频率较高的英文字母朗读，在本地以数组的形式保存其标准读音，实现本地调用，提升模型效率。