[发明专利]一种用于非对称语料的语音转换方法

权利要求书

1.一种用于非对称语料的语音转换方法，其特征是按如下步骤：

一、训练阶段：

1.1令X为从训练数据集χ中所有语音段的集合中采样得到的声学矢量序列，enc为编码器，dec为解码器，则编码器生成的潜矢量序列Z为

Z＝enc(X) (1)

得到潜矢量序列Z后，通过IN算法将潜矢量中包含的说话人个性特征归一化，从而去除说话人的个性特征，得到语音的内容信息Z_cont

Z_cont＝IN(Z) (2)

假设p(Z_cont|X)是具有单位方差且条件独立的高斯分布，即

p(Z_cont|X)＝N(Z_cont；0,I) (3)

其中，N表示高斯分布，I表示单位方差；

将语音内容信息Z_cont从潜矢量Z中减去，可得说话人的个性特征Z_sty表示为

Z_sty＝E_t[Z-Z_cont] (4)

其中，E_t代表语音序列X的全局信息在潜在表示Z上所占长度的期望；

1.2解码器对分离后的内容信息表示与说话人个性特征表示进行合成，生成的语音X'为

X'＝dec(Z_cont+Z_sty) (5)

并通过反向传播计算损失函数梯度，从而最小化重建损失并进行参数更新

其中，θ_enc是编码器更新参数，θ_dec是解码器更新参数；

1.3判别器D用于判别解码器生成的语音是否为真实语音X，并用对抗损失来表示，定义为

L_adv(θ_enc,θ_dec,θ_D)＝E_x∈χ[log(D(x))]+E_x∈χ[log(1-X']+E_x∈χ[log(1-D(dec(Z)))] (7)

其中，θ_enc是编码器更新的参数，θ_dec是解码器更新的参数，θ_D是判别器更新的参数；

二、转换阶段

将待转换的源语音X与目标语音Y分别作为已经训练好的编码器的输入，编码器提取源语音的内容信息Z_cont和目标语音的个性特征Z_sty，再将两者通过已经训练好的解码器进行合成，生成保留源语音的内容信息并具有目标说话人个性特征的语音Y'。

2.如权利要求1所述用于非对称语料的语音转换方法，其特征是，所述IN算法表示为：

式中，Z_ch[w]是第ch个通道中的第w个元素；因为应用的是1维卷积而不是2维卷积，所以每个通道是一个数组，而不是矩阵；μ_ch和σ_ch是第ch个通道的均值与标准差，表示为

式中，W是潜矢量Z_ch的维度，ε是一个很小的值，避免数值的不稳定；经过归一化处理的潜矢量Z'_ch中仅保留了语音的内容信息，说话人的个性特征已被去除。

3.如权利要求1所述用于非对称语料的语音转换方法，其特征是，在编码器中，使用Conv1d卷积层和ReLu激活层的结构来同时处理所有频率信息，并在两个Conv1d层之后使用两个Resblock残差块，以避免梯度弥散；内容表示是通过IN层生成的，说话人个性特征表示是每个时间步长上潜矢量和内容矢量之间差的平均值。