[发明专利]一种基于直方图匹配的自适应实例规一化语音转换方法

权利要求书

1.一种基于直方图匹配的自适应实例规一化语音转换方法，其特征在于，包括：

S1.将源语音和目标语音分别输入至编码器中进行编码处理，分别得到语音内容信息和说话人信息；

S2.将得到的语音内容信息和说话人信息分别输入自适应实例规一化AdaIN中进行均值和方差的对齐处理；

S3.将经过自适应实例规一化AdaIN处理后的语音内容信息和说话人信息通过解码器进行解码，得到解码后的转换语音；

S4.将解码后的转换语音输入直方图匹配算法中进行处理，得到最终转换后的语音；

步骤S2中进行均值和方差的对齐处理是对输入的语音内容信息进行均值和方差的对齐处理，以匹配说话人信息的均值和方差；

步骤S2中对输入的语音内容信息进行均值和方差的对齐处理，表示为：

其中，μ(c)表示语音内容信息的均值；σ(c)表示语音内容信息的方差；M表示卷积层输出的特征映射；W表示维度；

步骤S2中将得到的语音内容信息和说话人信息分别输入自适应实例规一化AdaIN中进行均值和方差的对齐处理，表示为：

其中，AdaIN(c，s)表示语音内容信息和说话人信息输入自适应实例规一化AdaIN进行处理的结果；σ(c)表示语音内容信息的方差；μ(c)表示语音内容信息的均值；σ(s)表示说话人信息的方差；μ(s)表示说话人信息的均值。

2.根据权利要求1所述的一种基于直方图匹配的自适应实例规一化语音转换方法，其特征在于，步骤S1中编码器包括内容编码器和说话人编码器。

3.根据权利要求2所述的一种基于直方图匹配的自适应实例规一化语音转换方法，其特征在于，步骤S1具体为将源语音输入至内容编码器中进行编码处理，得到语音内容信息；将目标语音输入至说话人编码器中进行编码处理，得到说话人信息。

4.根据权利要求1所述的一种基于直方图匹配的自适应实例规一化语音转换方法，其特征在于，步骤S3中得到解码后的转换语音后还包括分别计算语音内容信息的损失和说话人信息的损失。

5.根据权利要求1所述的一种基于直方图匹配的自适应实例规一化语音转换方法，其特征在于，步骤S2之前还包括：

将说话人信息通过残差深度神经网络DNN进行处理。

6.根据权利要求4所述的一种基于直方图匹配的自适应实例规一化语音转换方法，其特征在于，步骤S4中进行处理是通过计算目标语音与直方图匹配算法之间的欧氏距离，得到直方图损失。

7.根据权利要求6所述的一种基于直方图匹配的自适应实例规一化语音转换方法，其特征在于，步骤S4中进行处理后还包括将语音内容信息的损失、说话人信息的损失、直方图损失进行转换，得到最终转换后的语音。