[发明专利]声学模型训练方法、装置及语音合成方法

说明书

本说明书实施例提供一种声学模型训练方法、装置及语音合成方法，其中，所述声学模型训练方法包括：获取多个样本，所述样本包括样本文本输入、与所述样本文本输入对应的样本情感标签以及与所述样本文本输入对应的样本参考梅尔谱；将所述多个样本输入声学模型；基于损失目标，迭代调整所述声学模型的模型参数，直至训练完成。

技术领域

本说明书涉及人工智能技术领域，特别涉及一种声学模型训练方法、装置及语音合成方法。

背景技术

随着机器学习的发展，语音合成技术越发成熟。然而，现有的语音合成技术仍然存在较多问题，例如，语音生硬不自然，缺乏丰富的情感表达等。因此，有必要提供一种语音合成方法，提升机器人语音的自然感及情感丰富程度。

发明内容

本说明书实施例提供一种声学模型训练方法，所述方法包括：获取多个样本，所述样本包括样本文本输入、与所述样本文本输入对应的样本情感标签以及与所述样本文本输入对应的样本参考梅尔谱；将所述多个样本输入声学模型；基于损失目标，迭代调整所述声学模型的模型参数，直至训练完成。

在一些实施例中，所述声学模型包括：编码器，用于确定所述样本文本输入的文本序列向量；有监督模块，用于确定所述样本情感标签对应的样本情感嵌入向量；无监督模块，用于确定所述样本参考梅尔谱对应的样本参考风格向量。

在一些实施例中，所述声学模型还包括：向量处理模块，用于基于所述样本情感嵌入向量和所述样本参考风格向量的加和，确定综合情感向量，其中，所述综合情感向量为字符级嵌入向量。

在一些实施例中，所述声学模型还包括：解码器，用于基于所述文本序列向量和所述综合情感向量的级联向量，确定预测梅尔谱。

在一些实施例中，所述向量处理模块还用于确定隐状态向量；所述声学模型还包括：情感分类器，用于基于所述隐状态向量确定向量情感类别。

在一些实施例中，所述声学模型还包括：向量预测模块，用于基于所述文本序列向量，确定样本预测风格向量。

在一些实施例中，所述声学模型还包括：情感鉴别模块，用于确定所述预测梅尔谱对应的预测深度情感特征和所述参考梅尔谱对应的参考深度情感特征。

在一些实施例中，所述损失目标包括以下内容中的至少一个：所述样本预测风格向量与所述参考风格向量间的差异损失；所述情感类别的分类损失；所述预测梅尔谱与所述参考梅尔谱的差异损失；所述预测深度情感特征和所述参考深度情感特征的差异损失。

本说明书实施例还提供一种语音合成方法，所述方法包括：获取文本输入和所述文本输入对应的情感标签；基于所述文本输入和所述情感标签，通过训练好的声学模型，生成所述文本输入对应的预测梅尔谱；基于所述预测梅尔谱，生成所述文本输入对应的预测语音。

本说明书实施例还提供一种声学模型训练装置，所述装置包括：至少一个存储介质，所述存储介质包括计算机指令；至少一个处理器，所述至少一个处理器用于执行所述计算机指令，以实现如上任一项所述的方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的示例性语音合成系统的应用场景示意图。

图2是根据本说明书一些实施例所示的示例性语音合成方法的流程图。

图3是根据本说明书一些实施例所示的示例性声学模型训练方法的流程图。

图4是根据本说明书一些实施例所示的示例性声学模型的示意图。

图5是根据本说明书一些实施例所示的示例性声学模型的训练过程示意图。