[发明专利]语音转换及相应的模型训练方法、装置、设备及存储介质

权利要求书

1.一种语音转换方法，其中所述方法，包括：

基于源语音的音频，提取源语音的特征信息；

基于所述源语音的特征信息和要转换的目标音色信息，采用预先训练的语音转换模型，生成目标语音的声学特征信息；所述语音转换模型，用于实现在所述源语音的特征信息中，去除源音色信息，并添加目标音色信息，进而生成目标语音的声学特征信息；

基于所述目标语音的声学特征信息，采用预先训练的声码器，合成目标语音的音频；

基于源语音的音频，提取源语音的特征信息，包括：

基于所述源语音的音频，提取源语音的声学特征信息和源音色信息；

并将所述源语音的声学特征信息和所述源语音的源音色信息拼接，作为所述源语音的特征信息；所述源语音的声学特征信息包括源语音的音色信息、源语音的韵律信息以及源语音的内容信息。

2.根据权利要求1所述的方法，其中，基于所述源语音的特征信息和要转换的目标音色信息，采用预先训练的语音转换模型，生成目标语音的声学特征信息，包括：

基于所述源语音的特征信息，采用预先训练的所述语音转换模型中的编码器进行编码处理，以去除所述源语音的源音色信息，获取到所述源语音的深度内容信息；

基于要转换的所述目标音色信息和所述源语音的深度内容信息，采用预先训练的所述语音转换模型中的解码器，生成目标语音的声学特征信息。

3.根据权利要求1所述的方法，其中，所述语音转换模型中的编码器采用至少一组下采样单元和上采样单元构成。

4.一种如权利要求1-3任一所述方法使用的语音转换模型的训练方法，其中，所述方法包括：

采集数条训练语音的音频；

基于各所述训练语音的音频，提取所述训练语音的训练特征信息和训练音色信息；

基于各所述训练语音对应的所述训练特征信息和所述训练音色信息，训练语音转换模型。

5.根据权利要求4所述的方法，其中，基于各所述训练语音的音频，提取所述训练语音的训练特征信息，包括：

基于各所述训练语音的音频，提取所述训练语音的目标声学特征信息和所述训练语音的音色信息；将所述训练语音的声学特征信息和所述训练语音的音色信息拼接，作为所述训练语音的训练特征信息。

6.根据权利要求5所述的方法，其中，基于各所述训练语音对应的所述训练特征信息和所述训练音色信息，训练语音转换模型，包括：

对于各所述训练语音，获取所述语音转换模型中的编码器基于所述训练语音对应的所述训练特征信息，得到的训练深度内容信息；

获取所述语音转换模型中的解码器，基于所述训练深度内容信息和所述训练语音对应的所述训练音色信息，生成所述训练语音的预测声学特征信息；

基于所述训练语音的目标声学特征信息和所述训练语音的预测声学特征信息，构建损失函数；

检测所述损失函数是否收敛；

若未收敛，调整所述语音转换模型中的所述编码器和所述解码器的参数，使得所述损失函数趋于收敛。

7.根据权利要求4所述的方法，其中，所述语音转换模型中的编码器中采用至少一组采样块，各所述采样块包括下采样单元和上采样单元。

8.一种语音转换装置，其中所述装置，包括：

提取模块，用于基于源语音的音频，提取源语音的特征信息；

生成模块，用于基于所述源语音的特征信息和要转换的目标音色信息，采用预先训练的语音转换模型，生成目标语音的声学特征信息；所述语音转换模型，用于实现在所述源语音的特征信息中，去除源音色信息，并添加目标音色信息，进而生成目标语音的声学特征信息；

合成模块，用于基于所述目标语音的声学特征信息，采用预先训练的声码器，合成目标语音的音频；

所述合成模块，用于：

基于所述源语音的音频，提取源语音的声学特征信息和源音色信息；

并将所述源语音的声学特征信息和所述源语音的源音色信息拼接，作为所述源语音的特征信息；所述源语音的声学特征信息包括源语音的音色信息、源语音的韵律信息以及源语音的内容信息。