[发明专利]语音合成方法、装置、电子设备及存储介质

权利要求书

1.一种语音合成方法，其特征在于，包括：

获取目标语种的待合成文本；

将所述待合成文本输入至目标语音合成模型，得到所述目标语音合成模型输出的所述待合成文本的语音数据；

其中，所述目标语音合成模型基于携带有语音标签的第一文本样本、第二文本样本以及携带有音素序列标签的第三文本样本训练得到；所述第一文本样本为多个平行语种的文本样本，所述第二文本样本为所述目标语种的文本样本，所述第三文本样本为辅助语种的文本样本；

所述辅助语种是与所述目标语种处于同一语系下的语种，且所述辅助语种的语料资源多于所述目标语种的语料资源，所述第二文本样本与所述第三文本样本共享统一的音素体系。

2.根据权利要求1所述的语音合成方法，其特征在于，所述将所述待合成文本输入至目标语音合成模型，得到所述目标语音合成模型输出的所述待合成文本的语音数据，包括：

基于所述目标语音合成模型的编码器，对所述待合成文本进行编码，得到所述待合成文本的音素序列，并基于所述目标语音合成模型的解码器，对所述音素序列进行解码，得到所述语音数据；

相应地，所述目标语音合成模型基于如下方法训练得到：

基于所述第一文本样本，对包含有初始解码器的第一初始模型进行训练，得到候选解码器；

基于所述第三文本样本，对包含有所述候选解码器以及初始编码器的第二初始模型进行训练，得到候选编码器；

基于所述第二文本样本，或者基于所述第二文本样本以及所述第三文本样本，对包含有所述候选编码器以及所述候选解码器的第三初始模型进行微调，得到所述目标语音合成模型。

3.根据权利要求2所述的语音合成方法，其特征在于，所述基于所述第一文本样本，对包含有初始解码器的第一初始模型进行训练，得到候选解码器，包括：

对所述第一文本样本进行通用字符编码，确定所述第一文本样本对应的通用字符；

将所述通用字符输入至所述第一初始模型，由所述第一初始模型对所述通用字符进行特征提取，得到字符特征，并由所述初始解码器对所述字符特征进行解码，得到解码结果；

基于所述第一文本样本携带的语音标签以及所述解码结果，对所述第一初始模型进行训练，得到训练后的第一初始模型，所述训练后的第一初始模型中包含的解码器为所述候选解码器。

4.根据权利要求2所述的语音合成方法，其特征在于，基于所述第二文本样本以及所述第三文本样本，对包含有所述候选编码器以及所述候选解码器的第三初始模型进行微调，得到所述目标语音合成模型，包括：

从所述第二文本样本以及所述第三文本样本构成的样本集合中，以各语种对应的采样概率进行文本样本采样，得到采样结果；

基于所述采样结果，对所述第三初始模型进行微调，得到所述目标语音合成模型。

5.根据权利要求1-4中任一项所述的语音合成方法，其特征在于，所述音素序列标签基于如下方法确定：

获取所述音素体系下的目标语种词典以及辅助语种词典；

基于所述目标语种词典以及所述辅助语种词典，采用匹配算法对所述第三文本样本进行文本转音素，确定所述音素序列标签。

6.根据权利要求5所述的语音合成方法，其特征在于，所述第三文本样本还携带有语音标签；

相应地，所述获取所述音素体系下的目标语种词典以及辅助语种词典，包括：

获取初始目标语种词典以及初始辅助语种词典，并基于所述初始目标语种词典，确定所述第二文本样本中各单词的第一音素表征，基于所述初始辅助语种词典，确定所述第三文本样本中各单词的第二音素表征；

若所述第二文本样本携带的语音标签与所述第三文本样本携带的语音标签之间的差异在预设范围内，则将所述第一音素表征与所述第二音素表征映射为相同音素表征；

基于所述相同音素表征，对所述初始目标语种词典以及所述初始辅助语种词典进行更新，得到更新结果，并基于所述更新结果，分别得到所述目标语种词典以及所述辅助语种词典。