[发明专利]语音合成方法、系统、终端设备和可读存储介质

说明书

本发明提出一种语音合成方法、系统、终端设备和可读存储介质，通过获取文本数据和真人录音，并根据所述文本数据生成文本向量，再对真人录音所具有的韵律进行建模以生成韵律向量；然后结合所述文本向量和所述韵律向量生成目标语音，从而实现将真人录音中的韵律转移到合成的语音中。同时，本发明还通过真人录音中的韵律进行建模，并基于全局条件概率生成的方法，使合成的语音与输入的真人录音具有更为相似的韵律，进一步使合成语音具有高保真和高自然度的效果。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种语音语义领域，具体涉及一种语音合成方法、系统、终端设备和可读存储介质。

背景技术

随着科技的发展，机器已经可以通过语音合成技术进行说话。所谓的语音合成技术，也被称为文语转换技术(Text to Speech,TTS)，其目标是让机器通过识别和理解，把文本信息变成人造语音输出，是现代人工智能发展的重要分支。语音合成能够在质量检测、机器问答、残障辅助等领域发挥极大作用，方便人们的生活。

然而，现有的机器所能合成语音往往具有固定的模式，生成的语音在韵律方面较为生硬，与真人具有明显的差异，因此在某些对合成语音的拟人度要求比较高的场景下(如：智能外呼)，终端用户往往不能接受如此生硬的韵律。所以，目前急需一种基于深度学习的语音合成方法。

发明内容

为了解决上述至少一个技术问题，本发明提出了一种语音合成方法、系统、终端设备和可读存储介质，其能够将真人录音中的韵律转移到合成的语音中，实现对合成语音保真程度的提升。

为了实现上述目的，本发明第一方面提供了一种语音合成方法，包括：

获取文本数据，并根据所述文本数据生成文本向量；

获取真人录音，并对真人录音所具有的韵律进行建模以生成韵律向量；

结合所述文本向量和所述韵律向量生成梅尔语谱图；

根据所述梅尔语谱图生成目标语音。

本方案中，获取文本数据，并将所述文本数据生成文本向量，包括：

获取汉字数据，并对所述汉字数据进行分词处理；

将分词处理后的汉字数据转译为带有声调的汉语拼音；

将转译得到的带有声调的汉语拼音转换为一维向量数据；

按照时间序列将一维向量数据转换为二维向量数据。

本方案中，获取真人录音，并对真人录音所具有的韵律进行建模以生成韵律向量，包括：

对获取的真人录音进行短时傅里叶变换以得到对应的声谱图；

对所述声谱图进行梅尔滤波以得到梅尔语谱图；

对所述梅尔语谱图进行时序上的压缩及特征表示的优化；

对所述梅尔语谱图进行循环神经网络处理，并根据时序输出；

获取每一时刻的输出，并将所述循环神经网络的全部输出转换为二维的韵律向量。

本方案中，结合所述文本向量和所述韵律向量生成梅尔语谱图，包括：

将所述文本向量将作为局部条件，将所述韵律向量作为全局条件，通过所述序列到序列模型映射后，生成所述梅尔语谱图。

本方案中，所述声调包括普通话的第一声、第二声、第三声、第四声和轻声，用阿拉伯数字1、2、3、4、5分别表示普通话的第一声、第二声、第三声、第四声和轻声的声调代码。

本发明第二方面还提供了一种语音合成系统，包括：

文本嵌入模块，用于获取文本数据，并根据所述文本数据生成文本向量；