[发明专利]基于beta-VAE的多对多语音转换方法

摘要

本发明公开了一种基于beta‑VAE的多对多语音转换方法，通过引入可调节参数β和C，完成对变分自动编码器(VAE)框架的修改，在提高隐变量解纠缠能力的同时，也改善其在瓶颈层编码能力不足的问题，实现多说话人对多说话人的语音转换。本方法解决了现有VAE网络中隐变量对语音数据的表征能力不足并且很难拓展到更为复杂的语音数据的不足，较好地提升转换后的语音质量，有效的提高转换的性能。并且本方法解除对平行文本的依赖，训练过程不需要任何对齐操作，还可以将多个源‑目标说话人对的转换系统整合在一个转换模型中，即实现多对多的转换。

主权项

1.一种基于beta‑VAE的多对多语音转换方法，其特征在于：包括训练阶段和转换阶段，所述训练阶段包括以下步骤：(1.1)获取非平行训练语料，包含源说话人和目标说话人；(1.2)将所述的训练语料通过WORLD语音分析/合成模型，提取出各说话人语句频谱包络特征X、非周期特征、对数基频logf₀；(1.3)将上述的频谱包络特征X、说话人标签y，输入由编码器和解码器组成beta‑VAE网络进行训练，得到训练好的beta‑VAE网络；(1.4)构建从源说话人的语音基频到目标说话人的语音基频的基频转换函数；所述转换阶段包括以下步骤：(2.1)将源说话人语音通过WORLD语音分析/合成模型提取出每条语句的频谱包络特征X_s、非周期特征、对数基频(2.2)将源说话人的频谱特征X_s、目标说话人的标签y_t，输入步骤(1.3)训练好的beta‑VAE网络中，输出目标说话人的频谱特征X_t；(2.3)通过步骤(1.4)得到基频转换函数，将步骤(2.1)中提取出的源说话人对数基频频转换为目标说话人的对数基频频(2.4)将步骤(2.1)中得到的非周期特征、步骤(2.2)中得到的频谱特征X_t、以及(2.3)中得到的目标说话人对数基频输入WORLD语音分析/合成模型，得到转换后的目标说话人语音。