[发明专利]语音生成模型的训练、使用方法以及训练、使用装置

权利要求书

1.一种语音生成模型的训练方法，其特征在于，所述方法包括：

获取文字信息样本；

将所述文字信息样本输入语音生成模型的生成器中，得到输出梅尔频谱；

基于所述语音生成模型的鉴别器，采用多个损失函数分别将所述输出梅尔频谱与真实梅尔频谱进行对比，得到多个损失值，其中，所述真实梅尔频谱为所述文字信息样本真正的梅尔频谱；

按照预设运算规则对所述多个损失值进行处理，得到总损失值；

基于所述总损失值对所述语音生成模型中的参数进行调整，得到训练后的语音生成模型。

2.根据权利要求1所述的方法，其特征在于，所述采用多个损失函数分别将所述输出梅尔频谱与真实梅尔频谱进行对比，得到多个损失值，包括：

采用谱收敛损失函数、全变差损失函数、感知损失函数和平均绝对误差损失函数分别将所述输出梅尔频谱与真实梅尔频谱进行对比，得到多个第一损失值。

3.根据权利要求2所述的方法，其特征在于，在按照预设运算规则对所述多个损失值进行处理，得到总损失值之前，所述方法还包括：

分别确定所述鉴别器的对抗损失函数和特征匹配损失函数；

采用所述对抗损失函数和所述特征匹配损失函数分别将所述输出梅尔频谱与真实梅尔频谱进行对比，得到多个第二损失值；

所述按照预设运算规则对所述多个损失值进行处理，得到总损失值，包括：

对所述多个第一损失值和所述多个第二损失值进行求和处理，得到所述总损失值。

4.根据权利要求1所述的方法，其特征在于，所述按照预设运算规则对所述多个损失值进行处理，得到总损失值，包括：

对所述多个损失值进行加权处理，得到所述总损失值，所述多个损失值分别对应的权重相同；

或者，

确定每个损失函数的第一权重和第二权重，其中，每个损失函数的第一权重相同，每个损失函数的第二权重按照各损失函数排列先后顺序依次减小；

基于每个损失函数的第一权重对每个损失函数对应的损失值进行加权处理，得到所述多个损失值的第一总损失值；

基于每个损失函数的第二权重对每个损失函数对应的损失值进行加权处理，得到所述多个损失值的第二总损失值；

从所述第一总损失值和所述第二总损失值中选择数值最小的损失值作为所述总损失值。

5.根据权利要求1所述的方法，其特征在于，所述鉴别器包括：多个子鉴别器；所述基于所述语音生成模型的鉴别器，采用多个损失函数分别将所述输出梅尔频谱与真实梅尔频谱进行对比，得到多个损失值，包括：

在所述语音生成模型的每个子鉴别器中，分别采用每个子鉴别器的对抗损失函数和特征匹配损失函数将所述输出梅尔频谱与真实梅尔频谱进行对比，得到多组损失值，每组损失值中包括两个子损失值，每组损失值用于表征所述输出梅尔频谱的真实度。

6.根据权利要求5所述的方法，其特征在于，所述多个子鉴别器包括：多个不同尺度的鉴别器和一个二维卷积鉴别器；所述在所述语音生成模型的每个子鉴别器中，分别采用每个子鉴别器的对抗损失函数和特征匹配损失函数将所述输出梅尔频谱与真实梅尔频谱进行对比，得到多组损失值，包括：

在多个不同尺度的鉴别器和一个二维卷积鉴别器中，分别采用不同尺度的鉴别器以及二维卷积鉴别器的对抗损失函数和特征匹配损失函数将所述输出梅尔频谱与真实梅尔频谱进行对比，得到多组损失值。

7.根据权利要求1所述的方法，其特征在于，所述生成器包括：ELECTRA模型；所述将所述文字信息样本输入语音生成模型的生成器中，得到输出梅尔频谱，包括：

将所述文字信息样本转换为音素序列；

将所述音素序列输入ELECTRA模型，得到包含所述音素序列的上下文语义信息的第一隐藏表示；

将所述第一隐藏表示转换为梅尔频谱。