[发明专利]语音合成模型的训练方法、装置、电子设备及存储介质

权利要求书

1.一种语音合成模型的训练方法，其特征在于，所述方法包括：

将当前样本的音节输入序列、音素输入序列和汉字输入序列作为待训练模型的编码器的输入，在所述编码器的输出端得到所述音节输入序列、所述音素输入序列和所述汉字输入序列的编码表示；

将编码表示的所述音节输入序列、所述音素输入序列和所述汉字输入序列进行融合，得到所述音节输入序列、所述音素输入序列和所述汉字输入序列的一个加权组合；

将所述音节输入序列、所述音素输入序列和所述汉字输入序列的加权组合作为注意力模块的输入，在注意力模块的输出端得到所述音节输入序列、所述音素输入序列和所述汉字输入序列的加权组合在各个时刻上的加权平均；

将所述音节输入序列、所述音素输入序列和所述汉字输入序列的加权组合在各个时刻上的加权平均作为所述待训练模型的解码器的输入，在所述解码器的输出端得到所述当前样本的语音Mel谱输出。

2.根据权利要求1所述的方法，其特征在于，所述将当前样本的音节输入序列、音素输入序列和汉字输入序列作为待训练模型的编码器的输入，在所述编码器的输出端得到所述音节输入序列、所述音素输入序列和所述汉字输入序列的编码表示，包括：

将所述音节输入序列、所述音素输入序列和所述汉字输入序列输入到一个共享的编码器中；在所述共享的编码器的输出端得到所述音节输入序列、所述音素输入序列和所述汉字输入序列的编码表示；其中，所述共享的编码器由所述音节输入序列、所述音素输入序列和所述汉字输入序列共享。

3.根据权利要求1所述的方法，其特征在于，所述将当前样本的音节输入序列、音素输入序列和汉字输入序列作为待训练模型的编码器的输入，在所述编码器的输出端得到所述音节输入序列、所述音素输入序列和所述汉字输入序列的编码表示，包括：

将所述音节输入序列、所述音素输入序列和所述汉字输入序列分别输入到三个独立的卷积层变换模块中，在各个独立的卷积层变换模块的输出端分别得到卷积变换后的所述音节输入序列、所述音素输入序列和所述汉字输入序列；将卷积变换后的所述音节输入序列、所述音素输入序列和所述汉字输入序列作为序列变换神经网络模块的输入，在所述序列变换神经网络模块的输出端得到所述音节输入序列、所述音素输入序列和所述汉字输入序列的编码表示。

4.根据权利要求1所述的方法，其特征在于，所述将当前样本的音节输入序列、音素输入序列和汉字输入序列作为待训练模型的编码器的输入，在所述编码器的输出端得到所述音节输入序列、所述音素输入序列和所述汉字输入序列的编码表示，包括：

将所述音节输入序列、所述音素输入序列和所述汉字输入序列分别输入到三个独立的编码器中；在各个独立的编码器的输出端得到所述音节输入序列、所述音素输入序列和所述汉字输入序列的编码表示。

5.根据权利要求1所述的方法，其特征在于，在所述将当前样本的音节输入序列、音素输入序列和汉字输入序列作为待训练模型的编码器的输入之前，所述方法还包括：

将所述当前样本中的音素、音节和汉字分别转换成各自的固定维度的向量表示；

将所述音节的向量表示和所述汉字的向量表示转换成与所述音素的向量表示相同的长度，得到所述音节输入序列、所述音素输入序列和所述汉字输入序列，执行将所述音节输入序列、所述音素输入序列和所述汉字输入序列作为所述待训练模型的编码器的输入的操作。

6.根据权利要求1所述的方法，其特征在于，所述音素输入序列包括：音调输入序列、儿化音输入序列、标点输入序列和35个独立韵母的输入序列；所述音素输入序列还包括106个音素单元；各个音素单元包括106位，其中，所述106位中的有效位的取值为1，非有效位的取值为0；所述汉字输入序列包括：3000个汉字的输入序列；所述音节输入序列包括：508个音节的输入序列。