[发明专利]语音合成方法、装置、电子设备及存储介质

权利要求书

1.一种语音合成方法，其特征在于，所述方法包括：

利用预设声学模型从待处理文本中提取声学特征，得到所述待处理文本的目标声学特征；

利用预先训练的基频预测器从所述目标声学特征中提取基频特征，得到目标基频特征；

利用预先训练的能量预测器从所述目标声学特征中提取能量特征，得到目标能量特征；

将所述目标声学特征、所述目标基频特征和所述目标能量特征输入预先训练的通用声码器，生成所述待处理文本的语音音频；所述通用声码器是基于多个说话人的语音音频训练得到的。

2.根据权利要求1所述的方法，其特征在于，所述通用声码器是按照以下方式训练得到的：

获取多个说话人的语音音频，得到多个音频样本；

从每个所述音频样本中提取声学特征、基频特征和能量特征，得到每个所述音频样本的实际声学特征、实际基频特征和实际能量特征；

将每个所述音频样本的实际声学特征、实际基频特征和实际能量特征输入初始声码器，生成每个所述音频样本对应的合成音频；

基于每个所述音频样本及其对应的合成音频，对所述初始声码器进行训练，得到所述通用声码器。

3.根据权利要求2所述的方法，其特征在于，所述基于每个所述音频样本及其对应的合成音频，对所述初始声码器进行训练，得到所述通用声码器的步骤，包括：

对于每个所述音频样本，将所述音频样本及其对应的合成音频输入预设鉴别器，并利用所述预设鉴别器计算所述音频样本与其对应的合成音频的相似度获得所述音频样本对应的相似度，得到每个所述音频样本对应的相似度；

基于每个所述音频样本对应的相似度对所述初始声码器进行训练，直至每个所述音频样本对应的相似度均达到预设阈值，得到所述通用声码器。

4.根据权利要求1所述的方法，其特征在于，所述基频预测器是按照以下方式训练得到的：

获取多个说话人的语音音频，得到多个音频样本；

从每个所述音频样本中提取声学特征和基频特征，得到每个所述音频样本的实际声学特征和实际基频特征；

对于每个所述音频样本，将所述音频样本的实际声学特征输入初始基频预测器获得所述音频样本的预测基频特征，得到每个所述音频样本的预测基频特征；

基于每个所述音频样本的实际基频特征和预测基频特征，对所述初始基频预测器进行训练，得到所述基频预测器。

5.根据权利要求4所述的方法，其特征在于，所述初始基频预测器包括两个卷积层和一个线性映射层；

所述将所述音频样本的实际声学特征输入初始基频预测器获得所述音频样本的预测基频特征的步骤，包括：

将所述音频样本的实际声学特征输入所述初始基频预测器中的第一个卷积层，并利用所述第一个卷积层对所述音频样本的实际声学特征进行卷积处理，得到第一特征向量；

将所述第一特征向量输入所述初始基频预测器中的第二个卷积层，并利用所述第二个卷积层对所述第一特征向量进行卷积处理，得到第二特征向量；

将所述第二特征向量输入所述初始基频预测器中的线性映射层，并利用所述线性映射层对所述第二特征向量进行线性变换，得到所述音频样本的预测基频特征。

6.根据权利要求5所述的方法，其特征在于，所述卷积层包括一维卷积块、预设激活函数、预设标准化函数和正则化块；

所述利用所述第一个卷积层对所述音频样本的实际声学特征进行卷积处理，得到第一特征向量的步骤，包括：

利用所述第一个卷积层的一维卷积块对所述音频样本的实际声学特征进行一维卷积操作后，利用所述第一个卷积层的预设激活函数进行处理，得到第一向量；

利用所述第一个卷积层的预设标准化函数对所述第一向量进行处理后，利用所述第一个卷积层的正则化块进行正则化处理，得到所述第一特征向量。