[发明专利]语音合成模型的训练方法、系统、电子设备和存储介质

说明书

本发明公开一种语音合成模型的训练方法，包括：采集多语种的多组语种音频数据。每组语种音频数据中包括多个说话人发音的多组语音数据。获取音素ipa映射表。根据音素ipa映射表和多语种的待训练文本，获取待训练文本所对应的待训练符号序列。训练待训练符号序列获取模型训练。本发明实施例通过一套以国际音标音素为基准的前端文本分析系统，弱化不同语言之间输出的音位的差异，不同语言相似的读音将被共享，有效缩减了训练单一语言所需要的数据量。有效改善了合成音的音质，并且在合成时通过输入不同风格的音频可以输出不同风格的合成音。同时具有更好的稳定性。

技术领域

本发明属于人工智能、语音处理技术领域，尤其涉及语音合成模型的训练方法、系统、电子设备和存储介质。

背景技术

语音合成是一种将文本转换成语音的技术，是人机交互中的重要一环。在人机交互中，将文本以语音的形式反馈给用户，合成音质的好坏将直接影响用户的体验。随着语音合成技术的发展，语音合成在更多的交互场景中得以落地；随着市场的不断打开，反过来对语音合成的产品质量和服务类型的要求也越来越高；使用语音合成的用户也逐渐从单一人群宽展到所有人群，这样对多语种的语音合成提出了更高的需求。

据统计，世界上已知的语言就多达5000种以上，仅仅在中国，就有100多种方言。不仅不同的方言之间存在一定的交流障碍，甚至一些地方的老人听不懂普通话，为了支持多语言的合成，一般的做法是对每一个语言训练一个系统，且不同的语言之间有独立的文本处理方案。

市面上的多语言合成系统，往往根据语言的不同调用不同的合成系统，一个合成系统仅支持一种语言，不同语言之家信息不能共享，每种语言都需要使用大量的数据来支撑模型的训练。

现有技术中，一方面，行业的从业者大多主推中英文的合成系统，大多没有其他语言的需求以及经验，因此无法准确把握跨语言合成系统的难点和痛点。另一方面，对于夸语种多发音人的大一统的合成系统，需要同时具备专业的语言学知识和丰富的语音合成经验。

发明内容

本发明实施例旨在至少解决上述技术问题之一。

第一方面，本发明实施例提供一种语音合成模型的训练方法，包括：

步骤S101，采集多语种的多组音频数据。每组语种音频数据中包括多个说话人发音的语音数据。根据多组音频数据获取对应的语种编号。根据多个说话人发音的语音数据获取说话人信息。

步骤S102，根据每种语言的发音对照国际音标书写规范，获取多语种的音素对应国际音标符号的音素ipa映射表。根据每种语言的发音的音调获取音调序号。

步骤S103，根据音素ipa映射表和多组音频数据所对应的多语种的待训练文本，获取待训练文本所对应的待训练符号序列。待训练符号序列为国际音标符号系列且包括位置编码。

步骤S104，采用加入注意力机制的编码器-解码器Encoder-Decoder框架的训练模型。将待训练符号序列作为编码器的输入。编码器的输出数据合并语种编号、声道序号以及说话人信息输入到解码器中，训练获得语音合成模型。

第二方面，本发明实施例提供一种语音合成系统，其包括本发明中语音合成模型训练方法所获得的语音合成模型、文本处理单元和合成音频单元，其中，文本处理单元，配置为将待合成文本通过多语种的音素ipa、音调对应国际音标符号和设定音调符号的音素ipa映射表转换为待合成音素ipa序列。获取待合成的指定发音人信息。获取待合成语种信息。

语音合成模型，配置为根据待合成音素ipa序列、待合成的指定发音人信息和待合成语种信息，识别获取待合成文本所对应的待合成声学特征。

合成音频单元，配置为将待合成声学特征转换为音频数据。