[发明专利]基于SN的多对多说话人转换方法

权利要求书

1.一种基于SN的多对多说话人转换方法，其特征在于包括训练阶段和转换阶段，所述训练阶段包括以下步骤：

(1.1)获取训练语料，训练语料由多名说话人的语料组成，包含源说话人和目标说话人；

(1.2)将所述的训练语料通过WORLD语音分析/合成模型，提取出各说话人语句的频谱包络特征x、非周期性特征以及基频特征F0；

(1.3)将源说话人的频谱包络特征x_s、目标说话人的频谱包络特征x_t、源说话人标签特征c_s以及目标说话人标签特征c_t，输入到STARGAN-ResNet网络进行训练；所述的STARGAN-ResNet 网络由生成器G、鉴别器D和分类器C组成，所述的生成器G由编码网络和解码网络构成，在编码网络与解码网络之间搭建三层ResNet，在生成器G、鉴别器D和分类器C的每层网络间采用Switchable Norm进行数据标准化；

(1.4)训练过程使生成器的损失函数、鉴别器的损失函数、分类器的损失函数尽量小，直至设置的迭代次数，从而得到训练好的STARGAN-ResNet网络；

(1.5)构建从源说话人的语音基频到目标说话人的语音基频的基频转换函数；

所述转换阶段包括以下步骤：

(2.1)将待转换语料中源说话人的语音通过WORLD语音分析/合成模型提取出转换阶段的源说话人的频谱包络特征x_s′、转换阶段的源说话人的非周期性特征和转换阶段的源说话人的基频特征；

(2.2)将上述转换阶段的源说话人的频谱包络特征x_s′、转换阶段的目标说话人标签特征c_t′输入(1.4)中训练好的STARGAN-ResNet网络，重构出转换阶段的重构的目标说话人的频谱包络特征x_tc′；

(2.3)通过(1.5)得到的基频转换函数，将(2.1)中提取出的转换阶段的源说话人的基频特征转换为转换阶段的目标说话人的基频特征；

(2.4)将(2.2)中得到的转换阶段的重构的目标说话人的频谱包络特征x_tc′、(2.3)中得到的转换阶段的目标说话人的基频特征和(2.1)中提取的转换阶段的源说话人的非周期性特征通过WORLD语音分析/合成模型，合成得到转换后的说话人语音。

2.根据权利要求1所述的基于SN的多对多说话人转换方法，其特征在于：步骤(1.3)和(1.4)中的训练过程包括以下步骤：

(1)将源说话人的频谱包络特征x_s输入生成器G的编码网络，得到说话人无关的语义特征G(x_s)；

(2)将上述得到的说话人无关的语义特征G(x_s)与目标说话人标签特征c_t一同输入到生成器G的解码网络进行训练，在训练过程中最小化生成器G的损失函数，从而得到重构的目标说话人的频谱包络特征x_tc；

(3)将上述得到的重构的目标说话人的频谱包络特征x_tc，再次输入到生成器G的编码网络，得到重构的说话人无关的语义特征G(x_tc)；

(4)将上述得到的重构的说话人无关的语义特征G(x_tc)与源说话人标签特征c_s输入到生成器G的解码网络进行训练，在训练过程中最小化生成器G的损失函数，得到重构的源说话人的频谱包络特征x_sc；

(5)将重构的目标说话人的频谱包络特征x_tc、目标说话人的频谱包络特征x_t,以及目标说话人标签特征c_t一同输入到鉴别器D中进行训练，最小化鉴别器的损失函数；

(6)将重构的目标说话人的频谱包络特征x_tc和目标说话人的频谱包络特征x_t输入分类器C进行训练，最小化分类器的损失函数；

(7)回到步骤(1)重复上述步骤，直至达到设置的迭代次数，从而得到训练好的STARGAN-ResNet网络。