[发明专利]语音合成模型的训练方法、电子设备和存储介质

说明书

本发明公开语音合成模型的训练方法、电子设备和存储介质，其中，一种语音合成模型的训练方法，包括：训练一个无情感输入的声学模型，在所述声学模型的训练过程中用到了一种扩散过程，所述声学模型的训练目标为对于所述扩散过程中的任何中间时刻，估计数据分布的对数梯度；训练一个情感分类器，其中，所述情感分类器的输入至少包括所述扩散过程中的某一中间时刻对应的对数梯度；使用软标签指导技术进行情感可控的语音合成采样，其中，所述扩散过程对应于所述语音合成采样的反向去噪过程，所述反向去噪过程的梯度项为语音合成模型估计的目标，软标签指导项在数学上等同于交叉熵，其一边为所述情感分类器的输出，另一边为目标情感强度所对应的分布。

技术领域

本发明属于语音合成模型的训练技术领域，尤其涉及语音合成模型的训练方法、电子设备和存储介质。

背景技术

相关技术主要分为两大类，一类是使用Relative Attributes Rank(RAR，相对属性排序，一种相对信息建模方式)技术，通过一种人工构造的优化问题，用SVM(SupportVector Machine，支持向量机)方法寻找一个最优的排序矩阵，从而预先得到相对的情感强度值用于训练。训练完成之后即可使用这种强度值对合成的情感进行控制。第二类是在情感嵌入空间上进行操作，比如插值等。

发明人在实现本申请的过程中发现：基于RAR的方法需要预先计算出所有训练数据的相对情感强度值，这一阶段的优化问题解的好坏程度，将直接影响到后续的训练。第二类对于情感嵌入表达的提取也至关重要，经常需要对这个空间施加仔细的额外约束才能提升效果。此外，有些方法的合成质量较差，极有可能是由前序阶段所导致。

发明内容

本发明实施例提供一种语音合成模型的训练方法、电子设备和存储介质，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种语音合成模型的训练方法，包括：训练一个无情感输入的声学模型，其中，在所述声学模型的训练过程中用到了一种扩散过程，所述声学模型的训练目标为对于所述扩散过程中的任何中间时刻，估计数据分布的对数梯度；训练一个情感分类器，其中，所述情感分类器的输入至少包括所述扩散过程中的某一中间时刻对应的对数梯度；使用软标签指导技术进行情感可控的语音合成采样，其中，所述扩散过程对应于所述语音合成采样的反向去噪过程，所述反向去噪过程的梯度项为语音合成模型估计的目标，软标签指导项在数学上等同于交叉熵，其一边为所述情感分类器的输出，另一边为目标情感强度所对应的分布。

第二方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的语音合成模型的训练方法的步骤。

第三方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行本发明任一实施例的语音合成模型的训练方法的步骤。

在本申请实施例的方法中，情感强度可以由发明人提出的软标签指导技术来操控，这里软标签指导技术是基于分类器指导技术来进行扩展得到的，从而能够得到情感可控、高质量的语音合成。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的一种语音合成模型的训练方法的流程图；

图2为本发明一实施例提供的EmoDiff的训练和采样图；

图3为本发明一实施例提供的平均意见得分(MOS)和美尔锥体失真(MCD)的评价；