[发明专利]语音转换方法、装置、服务器及存储介质

说明书

本申请涉及人工智能中的语音处理，提供一种语音转换方法、装置、服务器及存储介质，该方法包括：获取训练样本数据，训练样本数据包括第一样本对或第二样本对；若训练样本数据为第一样本对，则将第一语音数据输入语音编码器，得到语音特征向量，并将第二语音数据输入情绪编码器，得到第一情绪特征向量；将语音特征向量和第一情绪特征向量输入特征转换层，得到第一线性谱图和第一梅尔谱图；根据第一线性谱图和第一梅尔谱图，更新语音转换模型的模型参数，直至语音转换模型收敛；将待转换的目标语音数据以及表征目标情绪的参考语音数据输入收敛的语音转换模型，得到目标语音信号。本申请能够提高语音转换的准确度。

技术领域

本申请涉及语音处理的技术领域，尤其涉及一种语音转换方法、装置、服务器及存储介质。

背景技术

个性化语音生成和多样的人机交互一直都是人们关注的对象，而对于其中的分支——语音转换技术(Voice conversion，VC)，也一直受到人们的注意。语音转换是在保留语言内容的前提下，将人的声音转换成不同风格，可以被用来进行特殊环境下说话人身份保密，也可以用来做影视作品的配音。

目前，语音转换是基于语音帧进行的，通过给定源语音和目标语音的强制对齐，并将源语音的声学特征转换为目标语音，或者基于序列到序列转换模型来进行语音转换，这些方式容易错误的传递语言信息，导致出现跳字、漏字、重复等情况，语音转换的准确度不高。因此，如何提高语音转换的准确度成为了亟需解决的问题。

发明内容

本申请的主要目的在于提供一种语音转换方法、装置、服务器及存储介质，旨在提高语音转换的准确度。

第一方面，本申请提供一种语音转换方法，包括：

获取训练样本数据，所述训练样本数据包括第一样本对或第二样本对，所述第一样本对包括第一语音数据和第二语音数据，所述第一语音数据对应的情绪标签与第二语音数据对应的情绪标签不同，所述第二样本对包括第三语音数据和所述第三语音数据对应的文本信息；

调用预设的语音转换模型，所述语音转换模型包括文本编码器、语音编码器、情绪编码器和特征转换层；

若所述训练样本数据为所述第一样本对，则将所述第一语音数据输入所述语音编码器进行编码操作，得到语音特征向量，并将所述第二语音数据输入所述情绪编码器进行编码操作，得到第一情绪特征向量；

将所述语音特征向量和所述第一情绪特征向量输入所述特征转换层进行处理，得到第一线性谱图和第一梅尔谱图；

根据所述第一线性谱图和所述第一梅尔谱图，确定所述语音转换模型是否收敛；以及

若所述训练样本数据为所述第二样本对，则将所述第三语音数据输入所述情绪编码器进行编码操作，得到第二情绪特征向量，并将所述文本信息输入所述文本编码器进行编码操作，得到文本特征向量；

将所述文本特征向量和所述第二情绪特征向量输入所述特征转换层进行处理，得到第二线性谱图和第二梅尔谱图；

根据所述第二线性谱图和所述第二梅尔谱图，确定所述语音转换模型是否收敛；

若所述语音转换模型未收敛，则更新所述语音转换模型的模型参数，并执行获取训练样本数据的步骤，直至所述语音转换模型收敛；

获取待转换的目标语音数据，以及获取表征目标情绪的参考语音数据；

将所述目标语音数据和所述参考语音数据输入收敛的所述语音转换模型，得到表征所述目标情绪的目标语音信号。

第二方面，本申请还提供一种语音转换装置，所述语音转换装置包括：