[发明专利]训练数据有限情形下的非平行文本语音转换方法

权利要求书

1.一种训练数据有限情形下的非平行文本语音转换方法，其特征在于，包括以下步骤：

1训练部分：

1.1训练语料通过AHOcoder分析/合成模型提取出不同说话人的不同语句的梅尔频率倒谱系数Mel-Frequency Cepstral Coefficients，MFCC和对数基频log f₀；

1.2对1.1中说话人每帧的MFCC语音特征X进行一次差分和二次差分，并与原特征进行拼接得到特征X_t＝(X,ΔX,Δ²X)，然后将拼接后特征的前后各一帧形成联合特征参数x_n＝(X_t-1,X_t,X_t+1)；

1.3将1.2中的联合特征x_n作为说话人识别任务的深度神经网络(Deep NeuralNetworks，DNN)训练的输入数据，DNN模型的输出为说话人分类标签；当目标说话人训练数据不充分时，对DNN的训练过程进行干预与优化，补充目标说话人的特征空间；待DNN模型训练至收敛后，提取每一帧的Bottleneck特征b_n作为变分自编码器VariationalAutoencoder，VAE模型训练过程中decoder的监督信息；

1.4对于VAE模型的训练，将1.2中的输出x_n和1.3中DNN模型的输出b_n作为VAE模型的输入，按照VAE模型训练方法进行模型训练；待VAE模型训练至收敛后，将VAE隐含空间各帧的采样特征z_n提取出来作为目标说话人Bottleneck特征映射网络Back Propagation网络的训练数据；

1.5训练Bottleneck映射网络，将1.4中得到的z_n和说话人标签特征y_n组成联合特征(z_n,y_n)输入BP网络，并以DNN网络输出的Bottleneck特征b_n作为BP网络的监督数据进行训练，通过随机梯度下降算法优化网络的输出误差，从而得到Bottleneck特征映射网络；

1.6将以上训练好的DNN特征提取网络，VAE模型，Bottleneck特征映射网络组成语音转换系统；

2转换阶段：

2.1源说话人任意测试语音通过AHOcoder分析/合成模型提取源说话人MFCC特征参数X_src和对数基频log f₀；

2.2将源说话人任意测试语音的语音特征参数X_src输入VAE语音转换模型，通过VAE模型的encoder过程得到采样特征z_n，并将z_n和说话人标签特征y_n组成联合特征(z_n,y_n)输入Bottleneck特征映射网络BP网络，训练得到目标说话人Bottleneck特征b_n，将b_n和z_n通过VAE模型的decoder重构出转换后的语音特征参数X_tar；

2.3将转换阶段2.1中提取的源说话人对数基频log f₀转换为目标说话人语音对数基频，将转换后的语音特征参数X_tar还原为梅尔频率倒谱形式的语音频谱特征参数x_n；

2.4将2.3中的语音频谱特征参数x_n和目标说话人语音对数基频通过AHOcoder模型合成转换后的说话人语音。

2.根据权利要求1所述的训练数据有限情形下的非平行文本语音转换方法，其特征在于：所述步骤1.1中提取MFCC特征参数和对数基频log f₀是利用AHOcoder声音编码器提取得到，然后将MFCC特征参数读取到MATLAB平台进行处理。