[发明专利]一种基于知识蒸馏的端到端语音合成训练方法及系统

权利要求书

1.一种基于知识蒸馏的端到端语音合成训练方法，其特征在于，所述方法执行以下步骤：

步骤1：获取原始训练数据；

步骤2：利用所述原始训练数据对老师模型进行训练；

步骤3：将利用所述老师模型预测的声学特征参数作为训练数据，对学生模型进行训练；

步骤4：利用训练好的所述学生模型进行端到端语音合成。

2.如权利要求1所述的方法，其特征在于，在所述步骤1中，所述原始训练数据包括训练音频和与所述训练音频对应的发音文本。

3.如权利要求2所述的方法，其特征在于，所述步骤2：利用所述原始训练数据对老师模型进行训练执行以下步骤：

步骤S21：从所述原始训练数据中的所述训练音频中提取GT声学特征参数；

步骤S22：使用所述原始训练数据中的所述发音文本和提取的所述GT声学特征参数作为训练数据，训练声学特征参数预测模型，训练好的所述声学特征参数预测模型作为所述老师模型。

4.如权利要求3所述的方法，其特征在于，在所述步骤S22中，在训练所述老师模型的解码子模块时，使用当前帧的GT声学特征作为目标输出，使用前一帧的GT声学特征作为输入。

5.如权利要求3所述的方法，其特征在于，所述步骤3：将利用所述老师模型预测的声学特征参数作为训练数据，对学生模型进行训练执行以下步骤：

步骤S31：将集内训练文本输入所述老师模型，采用GTA方式预测生成集内声学特征参数，以得到第一GTA声学特征参数；

步骤S32：采用所述发音文本、所述GT声学特征参数和所述第一GTA声学特征参数作为训练数据，训练声学特征参数预测模型，训练好的所述声学特征参数预测模型作为所述学生模型。

6.如权利要求5所述的方法，其特征在于，在所述步骤S32中，在训练所述学生模型的解码子模块时，采用上一帧的第一GTA声学特征参数作为输入，采用当前帧的GT声学特征参数作为目标输出。

7.如权利要求1所述的方法，其特征在于，所述步骤4：利用训练好的所述学生模型进行端到端语音合成执行以下步骤：

步骤S41：采用所述学生模型作为声学特征参数预测模型，将集内训练发音文本输入所述学生模型，采用GTA方式预测生成集内声学特征参数，以得到第二GTA声学特征参数；

步骤S42：采用所述训练音频以及所述学生模型预测的所述第二GTA声学特征参数作为输入，训练神经网络声码器；

步骤S43：采用所述神经网络声码器作为语音合成器，进行端到端语音合成。

8.一种基于知识蒸馏的端到端语音合成训练系统，其特征在于，包括：

获取模块，用于获取原始训练数据；

老师模型训练模块，用于利用所述原始训练数据对老师模型进行训练；

学生模型训练模块，用于将利用所述老师模型预测的声学特征参数作为训练数据，对学生模型进行训练；

语音合成模块，用于利用训练好的所述学生模型进行端到端语音合成。

9.如权利要求8所述的系统，其特征在于，所述老师模型训练模块包括：

GT声学特征参数提取单元，用于从所述原始训练数据中的训练音频中提取GT声学特征参数；

老师模型训练单元，用于使用所述原始训练数据中的所述发音文本和提取的所述GT声学特征参数作为训练数据，训练声学特征参数预测模型，训练好的所述声学特征参数预测模型作为所述老师模型。

10.如权利要求8所述的系统，其特征在于，所述学生模型训练模块包括：

第一GTA声学特征参数预测单元，用于将集内训练文本输入所述老师模型，采用GTA方式预测生成集内声学特征参数，以得到第一GTA声学特征参数；

学生模型训练单元，用于采用所述发音文本、所述GT声学特征参数和所述第一GTA声学特征参数作为训练数据，训练声学特征参数预测模型，训练好的所述声学特征参数预测模型作为所述学生模型。