[发明专利]语音合成方法、装置、电子设备及存储介质

说明书

本发明提供一种语音合成方法、装置、电子设备及存储介质，在训练得到目标语音合成模型的过程中，第一文本样本的引入，可以提高目标语音合成模型训练过程中的稳定性。采用第二文本样本以及第三文本样本，可以大大降低训练过程中所需的文本样本总数，进而降低目标语音合成模型的构建难度。而且，第三文本样本的引入，使训练过程中考虑了语料资源较丰富且与目标语种共享统一的音素体系的辅助语种，由于音素可以表示发音，因此采用辅助语种可以降低最终目标合成语音模型输出的语音数据的发音错误率，提高语音数据的自然度和识别率，避免在工业应用时难以纠正错误的现象出现。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种语音合成方法、装置、电子设备及存储介质。

背景技术

随着人工智能业务的不断拓展，低资源语种(即语料资源稀缺的语种)的语音合成的需求日益迫切，但低资源语种的语音数据极为有限且其收集成本远高于高资源语种(即语料资源丰富的语种)，这给低资源语种的语音合成带来了极大的困难。

目前，通常采用低资源端到端的语音合成方法实现低资源语种的语音合成，该语音合成方法利用语音合成和语音识别之间的对偶性，通过少量的文本-语音平行语料，语音合成模型为语音识别模型合成语音，语音识别模型为语音合成模型产生文本，两者迭代共同训练，最终完成两个模型的训练过程。

上述方法虽然可以利用较少的语料资源即可构建语音合成模型，降低模型构建难度，但是其提高了合成语音的发音错误率，在工业应用时难以纠正错误，并且由于语音合成模型和语音识别模型训练难度较大，这都将导致最终的合成语音自然度和识别率较低。

发明内容

本发明提供一种语音合成方法、装置、电子设备及存储介质，用以解决现有技术中存在的缺陷。

本发明提供一种语音合成方法，包括：

获取目标语种的待合成文本；

将所述待合成文本输入至目标语音合成模型，得到所述目标语音合成模型输出的所述待合成文本的语音数据；

其中，所述目标语音合成模型基于携带有语音标签的第一文本样本、第二文本样本以及携带有音素序列标签的第三文本样本训练得到；所述第一文本样本为多个平行语种的文本样本，所述第二文本样本为所述目标语种的文本样本，所述第三文本样本为辅助语种的文本样本；

所述辅助语种是与所述目标语种处于同一语系下的语种，且所述辅助语种的语料资源多于所述目标语种的语料资源，所述第二文本样本与所述第三文本样本共享统一的音素体系。

根据本发明提供的一种语音合成方法，所述将所述待合成文本输入至目标语音合成模型，得到所述目标语音合成模型输出的所述待合成文本的语音数据，包括：

基于所述目标语音合成模型的编码器，对所述待合成文本进行编码，得到所述待合成文本的音素序列，并基于所述目标语音合成模型的解码器，对所述音素序列进行解码，得到所述语音数据；

相应地，所述目标语音合成模型基于如下方法训练得到：

基于所述第一文本样本，对包含有初始解码器的第一初始模型进行训练，得到候选解码器；

基于所述第三文本样本，对包含有所述候选解码器以及初始编码器的第二初始模型进行训练，得到候选编码器；

基于所述第二文本样本，或者基于所述第二文本样本以及所述第三文本样本，对包含有所述候选编码器以及所述候选解码器的第三初始模型进行微调，得到所述目标语音合成模型。

根据本发明提供的一种语音合成方法，所述基于所述第一文本样本，对包含有初始解码器的第一初始模型进行训练，得到候选解码器，包括：

对所述第一文本样本进行通用字符编码，确定所述第一文本样本对应的通用字符；