[发明专利]语音合成方法及语音合成模型的训练方法、装置、设备

权利要求书

1.一种自回归模式的语音合成方法，包括：

通过语音合成模型的文本编码网络对待合成的第一文本进行文本编码，获得第一合成特征；

通过所述语音合成模型的声学编码网络对第一声学特征进行声学编码，获得第二合成特征，在首次语音合成过程中所述第一声学特征为从音频文件中提取的声学特征或者具有默认的初始值；

确定所述第一文本对应的发音人标识信息作为预先选定的发音人标识信息；

通过所述语音合成模型的受约束注意力模块对所述第一合成特征、第二合成特征和预先选定的发音人标识信息进行对齐处理，获得第三合成特征；

通过所述语音合成模型的声学解码网络对所述第三合成特征进行声学解码，获得所述第一文本的第二声学特征；

通过所述语音合成模型的声学解码网络的停止合成标记判别是否停止合成，在所述停止合成标记指示停止所述第一文本的语音合成时，生成所述第一文本的声学特征序列，所述第一文本的声学特征序列包括所述第一文本的所有第二声学特征；或者，

在所述停止合成标记指示继续所述第一文本的语音合成时，利用当前获得的所述第二声学特征重置所述第一声学特征，并重复所述声学编码、对齐处理和声学解码的步骤，获得所述第一文本的下一第二声学特征；

基于所述第一文本的声学特征序列，通过所述语音合成模型确定所述第一文本的对应的音频。

2.如权利要求1所述的方法，其中，对所述第一合成特征、第二合成特征和预先选定的发音人标识信息进行对齐处理，以获得第三合成特征，包括：

对所述第一合成特征的一部分与所述第二合成特征进行矩阵乘运算和归一化指数函数处理，获得对齐合成特征；

在所述第一合成特征的另一部分中嵌入所述发音人标识信息；

针对嵌有所述发音人标识信息的所述第一合成特征的另一部分、所述对齐合成特征和所述第二合成特征进行矩阵乘运算和拼接处理，获得所述第三合成特征。

3.如权利要求2所述的方法，其中，对所述第一合成特征的一部分与所述第二合成特征进行矩阵乘运算和归一化指数函数处理，包括：

在通道维度上均分所述第一合成特征，获得第一子特征和第二子特征；

对所述第一子特征和所述第二合成特征进行矩阵乘运算，获得第四合成特征；

对所述第四合成特征进行归一化指数函数处理，获得所述对齐合成特征。

4.一种自回归模式的语音合成模型的训练方法，包括：

设置语音合成模型中的语音合成参数为当前值，所述语音合成参数至少包括如下之一：文本编码参数、声学编码参数和声学解码参数；

利用作为训练样本的第二文本及其真实声学特征执行所述语音合成模型的语音合成，获得所述第二文本的预测声学特征，所述语音合成模型的语音合成包括：

对所述第二文本进行文本编码，获得第一训练特征；

对所述第二文本的真实声学特征进行声学编码，获得第二训练特征；

对所述第一训练特征、所述第二训练特征和预先选定的发音人标识信息进行对齐处理，获得第三训练特征，其中，所述对齐处理包括：

对所述第一训练特征的一部分与所述第二训练特征进行矩阵乘运算和归一化指数函数处理，获得对齐训练特征；

在所述第一训练特征的另一部分中嵌入所述预先选定的发音人标识信息；以及

对嵌有发音人标识信息的所述第一训练特征的另一部分、所述对齐训练特征和所述第二训练特征进行矩阵乘运算和拼接处理，获得第三训练特征；以及

对所述第三训练特征进行声学解码，获得所述第二文本的预测声学特征；以及

根据所述对齐处理所产生的对齐训练特征、所述第二文本的真实声学特征和所述预测声学特征，调整所述语音合成参数的取值。

5.如权利要求4所述的方法，其中，根据所述对齐处理所产生的对齐训练特征、所述第二文本的真实声学特征和所述预测声学特征，调整所述语音合成参数的取值，包括：

根据所述第二文本的预测声学特征和真实声学特征，确定第一损失值；

根据所述对齐处理产生的对齐训练特征，确定第二损失值；以及

至少基于所述第一损失值、第二损失值，确定语音合成参数的更新值。