[发明专利]残差网络的训练和语音合成方法、装置、设备及介质

说明书

本发明公开了一种残差网络的训练、语音合成方法、装置、设备及介质。由于训练的残差网络中的采样点子网络针对某一语音帧的每个采样点，直接根据条件向量以及上一个采样点的第一残差信号值，获取该语音帧在当前采样点的高斯参数向量，而该高斯参数向量中包括设定数量的高斯算法分别对应的权重值、高斯均值以及高斯标准差，有利于后续基于该高斯参数向量，即可获取到该语音帧在当前采样点的第二残差信号值，使得确定第二残差信号值的过程简化，提高了确定该第二残差信号值的效率，且无需进行数据类型以及维数的变换，极大地减少了用于数据类型和维数的变换所耗费的资源。

技术领域

本发明涉及语音处理技术领域，尤其涉及一种残差网络的训练、语音合成方法、装置、设备及介质。

背景技术

声码器是根据如频谱等声学特征，合成语音信号的重要工具，其主要包括源-滤波器模型。通过源-滤波器模型以及获取到的声学特征，可以构建出声源激励信号和声道响应信号来模拟人类在发声时肺部产生的气流经过整个声道系统(包括气管，声带，口腔)所发出的声音信号。

现有技术中，为了获取待处理文本对应的语音信号，可以预先通过语音合成模型，基于待处理文本的文本特征，获取待处理文本对应的至少一个声学特征向量。然后基于每个声学特征向量，获取每个声学特征向量对应的语音帧的预测语音信号；针对每个声学特征向量，通过残差网络，确定该声学特征向量对应的语音帧在每个采样点的残差信号值；然后通过反μ-law变换算法将每个采样点对应的残差信号值进行数据类型的转换，从整数(int)型数据转换为浮点数型(float)数据，然后基于该声学特征向量对应的语音帧在每个采样点对应的转换后的残差信号值，以及该声学特征向量对应的语音帧在每个采样点的预测信号值，确定该待处理文本对应的合成语音信号。

对于上述语音合成的方法，由于通过残差网络获取到任一声学特征向量对应的语音帧在每个采样点的残差信号值之后，需要通过反μ-law变换算法，对获取的残差信号值进行数据类型的转换，使得语音合成的过程非常繁琐，降低了语音合成的效率，且耗费大量的时间和计算了进行数据类型的变换。

发明内容

本发明实施例提供了一种残差网络的训练、语音合成方法、装置、设备及介质，用以解决现有语音合成的过程非常繁琐、效率低，且需要耗费大量的资源用于数据类型和维数的变换的问题。

本发明实施例提供了一种残差网络的训练方法，所述方法包括：

针对样本集中任一语音样本中的每个语音帧，该语音帧在每个采样点均对应有第一残差信号值，所述第一残差信号值是根据该语音帧在该采样点的真实信号值与预测信号值确定的；其中，该语音帧在该采样点的预测信号值是根据该语音帧的声学特征向量以及物理声码器确定的；

针对所述语音样本所包含的每个语音帧，通过原始残差网络中的帧级别子网络，基于该语音帧的声学特征向量，获取该语音帧的条件向量；通过所述原始残差网络中的采样点子网络，针对每个采样点，根据所述条件向量以及该语音帧在上一个采样点的第一残差信号值，获取该语音帧在当前采样点的高斯参数向量；基于所述高斯参数向量，确定该语音帧在当前采样点的第二残差信号值；其中，所述高斯参数向量中包括设定数量的高斯算法分别对应的权重值、高斯均值以及高斯标准差；

根据所述语音样本所包含的每个语音帧在每个采样点的第一残差信号值以及第二残差信号值，对所述原始残差网络进行训练。

本发明实施例提供了一种基于上述训练得到的残差网络的语音合成方法，所述方法包括：

通过语音合成模型，基于待处理文本的文本特征，获取所述待处理文本对应的至少一个声学特征向量；