[发明专利]语音合成方法、装置、电子设备及存储介质

说明书

本发明涉及音频处理技术领域，提供一种语音合成方法、装置、电子设备及存储介质。利用预设声学模型从待处理文本中提取声学特征得到待处理文本的目标声学特征；利用预先训练的基频预测器从目标声学特征中提取基频特征得到目标基频特征，并利用预先训练的能量预测器从目标声学特征中提取能量特征得到目标能量特征；将目标声学特征、目标基频特征和目标能量特征输入预先训练的通用声码器，生成待处理文本的语音音频；通用声码器是基于多个说话人的语音音频训练得到的。通过将声学特征、基频特征和能量特征作为声码器的输入以进行语音合成，且声码器由多个说话人的语音训练获得，使声码器具有通用性，降低了声码器的训练时长并保证了语音合成的效果。

技术领域

本发明涉及音频处理技术领域，具体而言，涉及一种语音合成方法、装置、电子设备及存储介质。

背景技术

语音合成技术(Text-to-Speech)是指将文本转换为语音音频，其常用于人机交互、有声书朗读等场景。语音合成模型通常包括声学模型和声码器，声学模型用于将文本转换为声学特征，声码器用于将声学特征转换为语音音频。

目前，在为某个特定音色构建语音合成模型时，往往是基于该音色对应的说话人的语音来训练专用的声码器，但是训练专用的声码器需要耗费大量的时间并且训练样本有限，从而导致语音合成的效果差和效率低。

发明内容

有鉴于此，本发明的目的在于提供一种语音合成方法、装置、电子设备及存储介质。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明提供一种语音合成方法，所述方法包括：

利用预设声学模型从待处理文本中提取声学特征，得到所述待处理文本的目标声学特征；

利用预先训练的基频预测器从所述目标声学特征中提取基频特征，得到目标基频特征；

利用预先训练的能量预测器从所述目标声学特征中提取能量特征，得到目标能量特征；

将所述目标声学特征、所述目标基频特征和所述目标能量特征输入预先训练的通用声码器，生成所述待处理文本的语音音频；所述通用声码器是基于多个说话人的语音音频训练得到的。

在可选的实施方式中，所述通用声码器是按照以下方式训练得到的：

获取多个说话人的语音音频，得到多个音频样本；

从每个所述音频样本中提取声学特征、基频特征和能量特征，得到每个所述音频样本的实际声学特征、实际基频特征和实际能量特征；

将每个所述音频样本的实际声学特征、实际基频特征和实际能量特征输入初始声码器，生成每个所述音频样本对应的合成音频；

基于每个所述音频样本及其对应的合成音频，对所述初始声码器进行训练，得到所述通用声码器。

在可选的实施方式中，所述基于每个所述音频样本及其对应的合成音频，对所述初始声码器进行训练，得到所述通用声码器的步骤，包括：

对于每个所述音频样本，将所述音频样本及其对应的合成音频输入预设鉴别器，并利用所述预设鉴别器计算所述音频样本与其对应的合成音频的相似度获得所述音频样本对应的相似度，得到每个所述音频样本对应的相似度；

基于每个所述音频样本对应的相似度对所述初始声码器进行训练，直至每个所述音频样本对应的相似度均达到预设阈值，得到所述通用声码器。

在可选的实施方式中，所述基频预测器是按照以下方式训练得到的：

获取多个说话人的语音音频，得到多个音频样本；

从每个所述音频样本中提取声学特征和基频特征，得到每个所述音频样本的实际声学特征和实际基频特征；