[发明专利]一种语音合成方法及装置

说明书

本申请提供一种语音合成方法及装置，涉及音频技术领域，能够提升语音合成的实时率，并且能够提升所合成的语音的音质。该方法包括：基于第一训练样本集和教师声学模型，对预设学生声学模型进行训练，得到目标学生声学模型，该第一训练样本集包括多个文本和该多个文本对应的声学特征，该预设学生声学模型为轻量级的声学模型；并且采用目标学生声学模型对目标文本进行特征提取，得到目标文本的声学特征；以及通过声码器对目标文本的声学特征进行处理，得到目标文本对应的语音。其中，教师声学模型、预设学生声学模型以及目标学生声学模型均用于提取文本的声学特征。

技术领域

本申请涉及音频技术领域，尤其涉及一种语音合成方法及装置。

背景技术

语音合成是将文字转为语音的服务，语音合成技术赋予了机器可以发声的能力，将机器接收到的文字信息转换成为自然流畅的语音信息，反馈并传递给用户。智能时代的到来，使得越来越多的智能设备需要搭载智能语音合成技术，以提高设备的交互性和友好度。

然而，对于现有的语音合成模型(包括声学模型和声码器)，一方面，语音合成模型的结构复杂，基于该模型进行语音合成需要消耗大量的计算资源，很难在嵌入式设备上实现实时的语音合成，也难以在低计算资源下实现离线的语音合成。另一方面，现有的语音合成模型的处理效果还有待提升。但是该优化方法会使得模型合成的音频质量产生较大损失。

发明内容

本申请实施例提供一种语音合成的方法、装置及系统，能够提升语音合成的实时率，并且能够提升所合成的语音的音质。

为达到上述目的，本申请实施例采用如下技术方案：

第一方面，本申请提供一种语音合成方法，应用于电子设备，该方法包括：电子设备基于第一训练样本集和教师声学模型，对预设学生声学模型进行训练，得到目标学生声学模型，上述第一训练样本集包括多个文本和该多个文本对应的声学特征，上述预设学生声学模型为轻量级的声学模型；并且采用上述目标学生声学模型对目标文本进行特征提取，得到该目标文本的声学特征；以及通过声码器对该目标文本的声学特征进行处理，得到该目标文本对应的语音。其中，教师声学模型、预设学生声学模型以及目标学生声学模型均用于提取文本的声学特征。

本申请实施例中，一方面，根据轻量级的预设学生声学模型训练得到的目标学生声学模型也为轻量级的声学模型，由于轻量级的声学模型结构更为简单，运算复杂度较低，因此基于目标学生声学模型可以快速完成语音合成，即通过本申请实施例提供的技术方案能够提升语音合成的实时率；另一方面，根据第一训练样本集和教师声学模型对预设学生声学模型进行训练，能够将教师声学模型的知识迁移至学生声学模型，得到目标学生声学模型，该目标学生声学模型输出的声学特征更加准确，因此，基于该目标学生声学模型进行语音合成得到语音的音质较好，即通过本申请实施例提供的技术方案能够提升所合成的语音的音质。

在第一方面的一种实现方式中，上述基于第一训练样本集和教师声学模型，对预设学生声学模型进行训练，得到目标学生声学模型的方法包括：电子设备确定第一训练样本集中的文本经教师声学模型处理的情况下，该教师声学模型的损失；确定第一训练样本集中的文本经预设学生声学模型处理的情况下，该预设学生声学模型的损失；根据教师声学模型的损失和预设学生声学模型的损失，确定目标损失；基于该目标损失，对预设学生声学模型进行更新，得到目标学生声学模型。

在第一方面的一种实现方式中，上述轻量级的声学模型包括对预设声学模型进行下述至少一种处理所得到的声学模型：

对上述预设声学模型进行结构裁剪；

增加上述预设声学模型所处理的数据帧的帧长；

增加上述预设声学模型单次处理的数据帧的数量。