[发明专利]用于混合语音合成的方法、设备及系统

说明书

一种对原始语音信号进行解码以用于混合对抗参数语音合成的方法，所述方法包括：(a)接收通过对原始语音信号应用线性预测编码分析滤波所估计的经量化原始线性预测编码参数及所述原始语音信号的残差的经量化压缩表示；(b)对所述原始线性预测编码参数及所述残差的所述压缩表示进行去量化；(c)将所述残差的所述经去量化压缩表示输入到生成器的解码器部分，以应用从压缩残差域到伪(第一)信号域的对抗映射；(d)由所述生成器的所述解码器部分输出伪语音信号；(e)对所述伪语音信号应用线性预测编码分析滤波以获得对应的伪残差；(f)通过对所述伪残差及所述经去量化原始线性预测编码分析参数应用线性预测编码交叉合成滤波来重建所述原始语音信号。

相关申请案的交叉引用

本申请案要求以下优先权申请案的优先权：2019年1月3日申请的第62/787,831号美国临时申请案(参考：D18127USP1)及2019年1月3日申请的第19150154.3号EP申请案(参考：D18127EP)，它们在此以引用的方式并入。

技术领域

本公开大体上涉及对原始语音信号进行编码及对原始语音信号进行解码以用于混合对抗参数语音合成的方法、设备及系统，且更明确来说，涉及通过实施在生成式对抗网络设置中训练的生成器并结合线性预测编码来使用紧凑学习参数表示改进原始语音信号的合成。

虽然本文将特别参考所述公开来描述一些实施例，但应理解，本公开不限于此类使用领域，且适用于更广泛的上下文。

背景技术

贯穿本公开对背景技术的任何讨论决不应被视为承认此类技术是广为人知的或形成本领域公知常识的部分。

语音是人类发声系统生成的声学信号，其以语言及情感信息传输说话者的意图。在数字系统中，语音信号被表示为描述相应语音信号的幅度的时间相依进展的波形。

当语音信号要使用数字通信系统传输时出现挑战。尤其针对具有有限带宽的通信通道(例如，移动电话网络)，语音信号波形的有效表示是重要的。可靠的信号表示需要高采样率。然而，以高采样率传输原始语音信号波形会导致高比特率及功耗，从而违反通道带宽节省。为了节省通道带宽，语音信号压缩能够传输相应语音信号波形的紧凑表示。这些紧凑表示通常足以用于可靠的语音信号波形重建。

在此上下文中，迄今为止使用的一种成功方法是基于模型的语音信号表示，它能够根据模型参数描述语音信号波形。源滤波器模型是语音建模中众所周知的方法，它利用声门激励信号的创建(源分量)及声门激励信号的频谱成形(滤波器分量)。

语音编解码器可由两部分组成：将语音信号分解为其声门激励加其频谱包络的编码器及将语音信号再次重建回来的解码器。在此上下文中，编码器可执行线性预测编码分析任务以创建源滤波器模型的相应分量，且解码器可通过重建语音信号来执行相应线性预测编码合成任务。

然而，信号压缩的总体目标是找到紧凑表示，其能够以较少的数据占用量对语音信号进行编码，并允许可靠及快速的重建。

最近，生成式对抗网络(GAN)因其在应用于例如包含条件图像合成、图像到图像转换、图像样式转变、图像超分辨率、图像绘制、文本到图像合成、视频生成等任务中时不断改进可靠性而得到越来越多的关注。在应用于语音增强之后，GAN在语音及音频信号处理领域也得到越来越多的关注。

例如，L.Juvela、B.Bollepalli、X.Wang、H.Kameoka、M.Airaksinen、J.Yamagishi及P.Alku在他们关于“使用生成式对抗网络由MFCC序列进行语音波形合成(Speechwaveform synthesis from MFCC sequences with Generative Adversarial Networks)”(IEEE ICASSP，卡尔加里，AB，2018，第5679到5683页)的出版物中提出一种用于由滤波器组mel频率倒谱系数(MFCC)进行语音重建的方法。