[发明专利]语音合成方法、系统、终端设备和可读存储介质

权利要求书

1.一种语音合成方法，其特征在于，包括：

获取文本数据，并根据所述文本数据生成文本向量；

获取真人录音，并对真人录音所具有的韵律进行建模以生成韵律向量；

结合所述文本向量和所述韵律向量生成梅尔语谱图；

根据所述梅尔语谱图生成目标语音。

2.根据权利要求1所述的语音合成方法，其特征在于，获取文本数据，并将所述文本数据生成文本向量，包括：

获取汉字数据，并对所述汉字数据进行分词处理；

将分词处理后的汉字数据转译为带有声调的汉语拼音；

将转译得到的带有声调的汉语拼音转换为一维向量数据；

按照时间序列将一维向量数据转换为二维向量数据。

3.根据权利要求1所述的语音合成方法，其特征在于，获取真人录音，并对真人录音所具有的韵律进行建模以生成韵律向量，包括：

对获取的真人录音进行短时傅里叶变换以得到对应的声谱图；

对所述声谱图进行梅尔滤波以得到梅尔语谱图；

对所述梅尔语谱图进行时序上的压缩及特征表示的优化；

对所述梅尔语谱图进行循环神经网络处理，并根据时序输出；

获取每一时刻的输出，并将所述循环神经网络的全部输出转换为二维的韵律向量。

4.根据权利要求1所述的语音合成方法，其特征在于，结合所述文本向量和所述韵律向量生成梅尔语谱图，包括：

将所述文本向量将作为局部条件，将所述韵律向量作为全局条件，通过所述序列到序列模型映射后，生成所述梅尔语谱图。

5.根据权利要求2所述的语音合成方法，其特征在于，所述声调包括普通话的第一声、第二声、第三声、第四声和轻声，用阿拉伯数字1、2、3、4、5分别表示普通话的第一声、第二声、第三声、第四声和轻声的声调代码。

6.一种语音合成系统，其特征在于，包括：

文本嵌入模块，用于获取文本数据，并根据所述文本数据生成文本向量；

韵律提取模块，用于获取真人录音，并对真人录音所具有的韵律进行建模以生成韵律向量；

梅尔语谱生成模块，用于结合所述文本向量和所述韵律向量生成梅尔语谱图；

语音生成模块，用于根据所述梅尔语谱图生成目标语音。

7.根据权利要求6所述的语音合成系统，其特征在于，所述文本嵌入模块包括：

分词单元，用于获取汉字数据，并对所述汉字数据进行分词处理；

语言模型单元，用于将分词处理后的汉字数据转译为带有声调的汉语拼音；

独热编码单元，用于将转译得到的带有声调的汉语拼音转换为一维向量数据；

文本向量生成单元，用于按照时间序列将一维向量数据转换为二维向量数据；

其中，所述声调包括普通话的第一声、第二声、第三声、第四声和轻声，用阿拉伯数字1、2、3、4、5分别表示普通话的第一声、第二声、第三声、第四声和轻声的声调代码。

8.根据权利要求6所述的语音合成系统，其特征在于，所述韵律提取模块包括：

短时傅里叶变换单元，用于对获取的真人录音进行短时傅里叶变换以得到对应的声谱图；

梅尔滤波单元，用于对所述声谱图进行梅尔滤波以得到梅尔语谱图；

卷积神经网络单元，用于对所述梅尔语谱图进行时序上的压缩及特征表示的优化；

GRU单元，用于对所述梅尔语谱图进行循环神经网络处理，并根据时序输出；

韵律向量生成单元，用于获取每一时刻的输出，并将所述循环神经网络的全部输出转换为二维的韵律向量。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述语音合成方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至5中任一项所述的语音合成方法的步骤。