[发明专利]一种基于变分自编码器的语音刺激连续统合成方法及装置

说明书

本发明公开了一种基于变分自编码器的语音刺激连续统合成方法及装置，所述方法包括：从原始语音信号中提取关键声学线索；基于变分自编码器进行关键声学线索建模，并进行训练；利用训练好的关键声学线索模型合成语音连续统。所述装置包括：提取模块，用于从原始语音信号中提取关键声学线索；模型建立模块，用于基于变分自编码器进行关键声学线索建模，并进行训练；合成模块，用于利用训练好的关键声学线索模型合成语音连续统。本发明通过深度学习模型来合成感知实验中所需要的语音刺激连续统，能够解决现有技术中手动修改造成的信息损失和不自然的问题。

技术领域

本发明涉及语音合成技术领域，特别涉及一种基于变分自编码器的语音刺激连续统合成方法及装置。

背景技术

在语音感知研究中，合成的语音连续统的质量对实验结果有重要的影响。常见的合成方法是手动修改自然语音的关键声学参数，即：首先从口语中提取相关的声学参数；之后根据数学公式在相关声学参数之间进行插值操作；最后使用声码器将插值得到的参数序列转换回语音信号。这一传统方法直接修改关键的声学线索，较难实现两个语音范畴之间全局和平滑的过渡，生成的语音听起来可能不自然。

例如，在现有语音感知研究中，通常使用手动修改种子音节声学参数的方法合成两个语音范畴间的连续统，来探究语音的范畴感知机制。这一方法有几个关键的局限性。首先，当两个语音范畴在多个声学维度上不同时（例如，英语中 /r/ 和 /l/ 在第一、第二和第三共振峰都不同），合成的语音连续统有可能听起来不自然。其次，由于声学参数是连续变化的物理量，直接对关键的声学特征进行手工插值可能会掩盖细微但重要的动态变化特征，而这些动态变化可能是听众辨别两个语音范畴的重要线索，由于合成的连续统质量上的缺陷，这些线索都不会出现在随后的感知实验中。

发明内容

本发明的目的在于提供一种基于变分自编码器的语音刺激连续统合成方法及装置，通过深度学习模型来合成感知实验中所需要的语音刺激连续统，解决手动修改可能造成的信息损失和不自然的问题。

为解决上述技术问题，本发明的实施例提供如下方案：

一方面，提供了一种基于变分自编码器的语音刺激连续统合成方法，包括以下步骤：

S1、从原始语音信号中提取关键声学线索；

S2、基于变分自编码器进行关键声学线索建模，并进行训练；

S3、利用训练好的关键声学线索模型合成语音连续统。

优选地，所述步骤S1中，使用WORLD 声码器提取基频作为关键声学线索，并对提取的基频包络进行归一化预处理。

优选地，所述步骤S2中，变分自编码器的编码和解码都采用带有门控结构的全卷积神经网络对所述关键声学线索进行建模。

优选地，所述步骤S3包括：

给定两个语音刺激范畴，提取两个语音刺激范畴的关键声学线索；

将提取的两个关键声学线索送入训练好的关键声学线索模型，通过所述关键声学线索模型学习两个关键声学线索对应的隐空间分布；

在两个隐空间分布之间进行连续重采样，得到两个关键声学线索之间逐渐过渡的语音刺激样本；

通过WORLD声码器将所述语音刺激样本还原回波形信号。

一方面，提供了一种基于变分自编码器的语音刺激连续统合成装置，包括：

提取模块，用于从原始语音信号中提取关键声学线索；

模型建立模块，用于基于变分自编码器进行关键声学线索建模，并进行训练；

合成模块，用于利用训练好的关键声学线索模型合成语音连续统。