[发明专利]一种语音合成方法、装置、电子设备和存储介质

说明书

本发明提供一种语音合成方法、装置、电子设备和存储介质，其中方法包括：确定待合成文本；将待合成文本输入至语音合成模型中，得到合成结果；语音合成模型是在用于提取文本特征的语言模型的基础上，通过样本文本及其对应的样本语音，联合基于文本特征的说话人识别模型对抗训练得到的。本发明提供的方法、装置、电子设备和存储介质，依赖于语言模型强大的文本理解能力，保证语音合成过程中对于韵律、音素层面信息预测的合理性，从而保证语音合成结果的可靠性和准确性，无需前端模块的加入，节省了大量的人力时间，尤其是在多语种的语音合成场景下，无需另外获取各语种的前端模块，极大降低了语音合成任务的实现难度，有助于语音合成应用的推广。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种语音合成方法、装置、电子设备和存储介质。

背景技术

语音合成是指将输入的文本转换成语音输出的过程。多语种的语音合成可以实现不同多个语种的语音合成，其输入的文本可以是不同语种的文字。

目前的语音合成系统通常包含前端模块和语音合成模型两个部分，其中前端模块用于文本分析、韵律预测、文本音素转换等，这需要对语言知识进行详细了解，其构建过程需要耗费大量人力和时间投入。而在多语种的语音合成任务中，大量语种的前端模块极难获得，这对于多语种语音合成任务带来极大困难。

发明内容

本发明提供一种语音合成方法、装置、电子设备和存储介质，用以解决现有技术中前端模块构建难度大导致语音合成实现困难的缺陷。

本发明提供一种语音合成方法，包括：

确定待合成文本；

将所述待合成文本输入至语音合成模型中，得到所述语音合成模型输出的合成结果；所述语音合成模型是在用于提取文本特征的语言模型的基础上，通过样本文本及其对应的样本语音，联合基于所述文本特征的说话人识别模型对抗训练得到的。

根据本发明提供的一种语音合成方法，所述将所述待合成文本输入至语音合成模型中，得到所述语音合成模型输出的合成结果，包括：

将所述待合成文本输入至所述语音合成模型的文本编码层，得到所述文本编码层输出的文本特征；所述文本编码层是基于所述语言模型建立的；

将所述文本特征，或者将所述文本特征，以及目标声纹特征和/或目标语种特征输入至所述语音合成模型的解码层，得到所述解码层输出的合成结果。

根据本发明提供的一种语音合成方法，所述文本编码层是与说话人识别模型对抗训练得到的，所述说话人识别模型用于对对抗文本特征进行说话人识别，所述对抗文本特征是对所述文本编码层的输出进行梯度反转得到的。

根据本发明提供的一种语音合成方法，所述文本编码层包括多层卷积结构及与之串联的语言编码层，所述语言编码层的结构与所述语言模型的结构一致。

根据本发明提供的一种语音合成方法，所述将所述文本特征，或者将所述文本特征，以及目标声纹特征和/或目标语种特征输入至所述语音合成模型的解码层，得到所述解码层输出的合成结果，包括：

将所述文本特征，或者将所述文本特征，以及所述目标声纹特征和/或目标语种特征输入至所述解码层的融合解码层，得到所述融合解码层输出的多个融合声学特征，每个融合声学特征对应预设数量个语音帧，所述预设数量为大于1的整数；

将所述文本特征和所述多个融合声学特征，或者将所述文本特征和所述多个融合声学特征，以及所述目标声纹特征和/或目标语种特征输入至所述解码层的通用解码层，得到所述通用解码层输出的所述合成结果。

根据本发明提供的一种语音合成方法，所述语音合成模型的损失函数是基于合成结果的损失值和融合声学特征的损失值，或者基于所述合成结果的损失值、所述融合声学特征的损失值以及目标声纹特征的损失值确定的。