[发明专利]语音转换方法、装置和电子设备

权利要求书

1.一种语音转换方法，包括：

获取第一用户的源语音和第二用户的参照语音；

从所述源语音中提取出第一语音内容信息和第一声学特征；

从所述参照语音中提取出第二声学特征；

将所述第一语音内容信息、所述第一声学特征和所述第二声学特征输入至预先训练好的语音转换模型中，得到重构的第三声学特征，所述预先训练好的语音转换模型根据第三用户的语音训练得到；以及

根据所述第三声学特征合成目标语音。

2.根据权利要求1所述的语音转换方法，所述从所述源语音中提取出第一语音内容信息，包括：

将所述源语音输入至预先训练好的多语种自动语音识别模型中，得到语音后验概率矩阵；以及

将所述语音后验概率矩阵作为所述第一语音内容信息。

3.根据权利要求1所述的语音转换方法，所述第一声学特征、所述第二声学特征和所述第三声学特征为梅尔特征。

4.根据权利要求1所述的语音转换方法，所述语音转换模型包括隐变量网络、音色网络和重构网络，所述将所述第一语音内容信息、所述第一声学特征和所述第二声学特征输入至预先训练好的语音转换模型中，得到重构的第三声学特征，包括：

将所述第一声学特征输入至所述隐变量网络，得到基频能量参数；

将所述第二声学特征输入至所述音色网络，得到音色参数；以及

将所述第一语音内容信息、所述基频能量参数和所述音色参数输入至所述重构网络，得到所述第三声学特征。

5.根据权利要求4所述的语音转换方法，所述将所述第一声学特征输入至所述隐变量网络，得到基频能量参数，包括：

将所述第一声学特征输入至所述隐变量网络，所述隐变量网络在帧尺度上对所述第一声学特征进行压缩，从压缩后的第一声学特征中提取基频能量参数。

6.根据权利要求4所述的语音转换方法，所述将所述第二声学特征输入至所述音色网络，得到音色参数，包括：

将所述第二声学特征输入至所述音色网络，所述音色网络采用深度循环神经网络和变分自编码器对所述第二声学特征进行抽象，得到所述音色参数。

7.根据权利要求4所述的语音转换方法，所述将所述第一语音内容信息、所述基频能量参数和所述音色参数输入至所述重构网络，得到所述第三声学特征，包括：

将所述第一语音内容信息、所述基频能量参数和所述音色参数输入至所述重构网络，所述重构网络采用深度循环神经网络对所述第一语音内容信息、所述基频能量参数和所述音色参数进行声学特征重构，得到所述第三声学特征。

8.根据权利要求1所述的语音转换方法，还包括：

获取所述第三用户的第一语音和第二语音；

从所述第一语音中提取出第二语音内容信息和第四声学特征；

从所述第二语音中提取出第五声学特征；

将所述第二语音内容信息、所述第四声学特征和所述第五声学特征输入至待训练的语音转换模型中，得到重构的第六声学特征；以及

根据所述第六声学特征和所述第四声学特征的差异，调整所述待训练的语音转换模型中的模型参数，并返回所述获取第三用户的第一语音和第二语音步骤，直至所述第六声学特征和所述第四声学特征的差异符合预设的训练结束条件，将最后一次调整模型参数后的所述待训练的语音转换模型确定为所述预先训练好的语音转换模型。

9.一种语音转换装置，包括：

获取模块，用于获取第一用户的源语音和第二用户的参照语音；

第一提取模块，用于从所述源语音中提取出第一语音内容信息和第一声学特征；

第二提取模块，用于从所述参照语音中提取出第二声学特征；

转换模块，用于将所述第一语音内容信息、所述第一声学特征和所述第二声学特征输入至预先训练好的语音转换模型中，得到重构的第三声学特征，所述预先训练好的语音转换模型根据第三用户的语音训练得到；以及

合成模块，用于根据所述第三声学特征合成目标语音。