[发明专利]一种基于知识蒸馏的端到端语音合成训练方法及系统

说明书

本发明提供了一种基于知识蒸馏的端到端语音合成训练方法及系统，所述方法执行以下步骤：步骤1：获取原始训练数据；步骤2：利用所述原始训练数据对老师模型进行训练；步骤3：将利用所述老师模型预测的声学特征参数作为训练数据，对学生模型进行训练；步骤4：利用训练好的所述学生模型进行端到端语音合成。根据本发明的方法，采用知识蒸馏方法，先训练老师模型，再由老师模型预测的声学特征参数作为输入，训练学生模型，最后利用训练好的学生模型进行端到端语音合成，可以有效解决训练与测试不匹配导致的集外合成语音听感变差的问题。

技术领域

本发明涉及语音合成技术领域，特别涉及一种基于知识蒸馏的端到端语音合成训练方法及系统。

背景技术

目前，端到端语音合成系统一般包括声学特征参数预测模块与合成器模块两部分，其中声学特征参数预测模块一般采用序列到序列的建模方法，包括Embedding、Encoder-Decoder和Post-Net等子模块。合成器模块一般采用基于声学信号处理的声码器，或者神经网络声码器。而用于训练端到端合成系统的原始训练数据，包含音频数据和对应的发音文本，其中声学特征参数预测模块由发音文本数据，以及从音频中提取的声学特征参数训练得来。

声学特征参数预测模块中的Decoder子模块，在训练时以前一帧的GT声学特征参数作为当前帧的输入；而在测试时，则是以上一帧的Decoder预测输出为当前帧的输入。由于模型预测总是存在误差，上述模型训练和测试时分别使用GT声学特征参数和模型预测的特征参数作为输入，存在不匹配的问题，这会导致测试时集外声学特征参数预测精度变差，进而导致集外合成语音听感变差。

发明内容

本发明提供一种基于知识蒸馏的端到端语音合成训练方法及系统，用以避免训练与测试不匹配导致的集外合成语音听感变差的问题。

本发明提供了一种基于知识蒸馏的端到端语音合成训练方法，所述方法执行以下步骤：

步骤1：获取原始训练数据；

步骤2：利用所述原始训练数据对老师模型进行训练；

步骤3：将利用所述老师模型预测的声学特征参数作为训练数据，对学生模型进行训练；

步骤4：利用训练好的所述学生模型进行端到端语音合成。

进一步地，在所述步骤1中，所述原始训练数据包括训练音频和与所述训练音频对应的发音文本。

进一步地，所述步骤2：利用所述原始训练数据对老师模型进行训练执行以下步骤：

步骤S21：从所述原始训练数据中的所述训练音频中提取GT声学特征参数；

步骤S22：使用所述原始训练数据中的所述发音文本和提取的所述GT声学特征参数作为训练数据，训练声学特征参数预测模型，训练好的所述声学特征参数预测模型作为所述老师模型。

进一步地，在所述步骤S22中，在训练所述老师模型的解码子模块时，使用当前帧的GT声学特征作为目标输出，使用前一帧的GT声学特征作为输入。

进一步地，所述步骤3：将利用所述老师模型预测的声学特征参数作为训练数据，对学生模型进行训练执行以下步骤：

步骤S31：将集内训练文本输入所述老师模型，采用GTA方式预测生成集内声学特征参数，以得到第一GTA声学特征参数；

步骤S32：采用所述发音文本、所述GT声学特征参数和所述第一GTA声学特征参数作为训练数据，训练声学特征参数预测模型，训练好的所述声学特征参数预测模型作为所述学生模型。

进一步地，在所述步骤S32中，在训练所述学生模型的解码子模块时，采用上一帧的第一GTA声学特征参数作为输入，采用当前帧的GT声学特征参数作为目标输出。