[发明专利]语音合成方法以及相关装置、设备

说明书

本申请公开了语音合成方法以及相关装置、设备，其中，语音合成方法包括：获取到目标对象的音素、音高以及音素时长；以及获取到待合成对象，确定待合成对象的梅尔谱，基于梅尔谱提取待合成对象的音色特征矩阵；通过语音合成模型对目标对象的音素、音高以及音素时长进行编码，通过语音合成模型得到编码数据；对音色特征矩阵以及编码数据进行解码，得到待合成对象的合成语音。上述方案，通过基于目标对象的音素、音高以及音素时长对待合成对象进行语音合成，能够在合成语音内基于目标对象的音素、音高以及音素时长并还原待合成对象的音色，从而提高语音合成的精度和效果。

技术领域

本申请涉及语音合成的技术领域，特别是涉及语音合成方法以及相关装置、设备。

背景技术

随着电子信息处理技术的不断发展，语音作为人们获取信息的重要载体，已经被广泛应用于日常生活和工作中。涉及语音的应用场景中，通常会包括语音合成的处理，语音合成是指将指定的文本或音频，合成为符合需求的目标音频。

目前往往采用循环神经网络模型进行语音合成，但利用循环神经网络模型进行语音合成的方式存在合成效果不高的问题。

基于此，如何提高语音合成的效果，成为目前需要解决的技术问题。

发明内容

本申请提供了语音合成方法以及相关装置、设备，解决现有技术中存在的语音合成效果较差的问题。

本申请提供了一种语音合成方法，语音合成方法，包括：获取到目标对象的音素、音高以及音素时长；以及获取到待合成对象，确定待合成对象的梅尔谱，基于梅尔谱提取待合成对象的音色特征矩阵；通过语音合成模型对目标对象的音素、音高以及音素时长进行编码，得到编码数据；通过语音合成模型对音色特征矩阵以及编码数据进行解码，得到待合成对象的合成语音。

其中，获取到待合成对象，确定待合成对象的梅尔谱的步骤包括：获取到待合成对象，对待合成对象进行分帧加窗以及傅里叶变换，得到待合成对象的线性谱；将线性谱输入到梅尔滤波器组中进行滤波处理，得到梅尔谱。

其中，基于梅尔谱提取待合成对象的音色特征矩阵的步骤包括：将梅尔谱输入到深度学习网络中，利用深度学习网络提取出待合成对象的音色特征矩阵。

其中，语音合成模型包括相互级联的编码器、注意力网络以及解码器；通过语音合成模型对目标对象的音素、音高以及音素时长进行编码，得到编码数据的步骤包括：通过语音合成模型中的编码器对目标对象的音素、音高以及音素时长进行编码，得到编码数据；通过语音合成模型对音色特征矩阵以及编码数据进行解码，得到待合成对象的合成语音的步骤包括：通过语音合成模型中的注意力网络以及解码器依次对音色特征矩阵以及编码数据进行解码，得到合成语音。

其中，注意力网络包括基于位置的注意力机制。

其中，语音合成模型还包括断句子模型；通过语音合成模型中的解码器对音色特征矩阵以及编码数据进行解码，得到合成语音的步骤还包括：通过语音合成模型中的断句子模型对解码后的数据进行断句，得到合成语音。

其中，获取到目标对象的音素、音高以及音素时长的步骤之前包括：获取到样本音频，并提取出样本音频的音素、音高以及音素时长，其中，样本音频的音素、音高以及音素时长分别涵盖预设音素范围、预设音高范围以及预设音素时长范围；将样本音频的音素、音高以及音素时长输入到初始模型中的编码器中进行编码，得到样本编码数据；确定样本音频的样本梅尔谱，基于样本梅尔谱提取样本音频的音色特征矩阵；将样本音频的音色特征矩阵以及样本编码数据依次输入到初始模型中的注意力网络以及解码器进行解码，得到样本合成语音；响应于样本合成语音与样本音频之间的相似度满足预设要求，则获取到语音合成模型

其中，获取到目标对象的音素、音高以及音素时长的步骤包括：获取到目标音频，并从目标音频中提取出对应的音素、音高以及音素时长；或获取到目标文本，并基于目标文本确定对应的音素、音高以及音素时长。