[发明专利]语音合成装置、方法、电子设备和存储介质

说明书

本申请公开了一种语音合成装置、方法、电子设备和计算机存储介质，所述语音合成装置包括语音合成处理模块和语音增强模块，所述语音合成处理模块的输出与所述语音增强模块的输入相连；其中，所述语音合成处理模块包括：文本编码器、韵律控制模块、位置敏感注意力模块、注意力过渡机制模块、解码器和声码器。利用本申请的实施例能够得到携带风格韵律的清晰的合成语音。

技术领域

本申请涉及语音合成技术领域，尤其涉及一种语音合成装置、方法、电子设备和计算机存储介质。

背景技术

关于语音合成，也可称为文语转换（Text To Speech，TTS），是指可以将输入的文本转换为相应语音的技术，语音合成是人机语音交互中最为重要的技术之一。传统的语音合成技术采用前端-后端模型的架构，实现过程需分别对前端模型和后端模型进行详细设计，需引入大量专家知识（例如语言学、声学等方面的知识支撑），实现过程的逻辑较为复杂，在效果上传统的合成语音在自然度上与真人语音有较大差距。目前已出现了端到端语音合成技术，端到端的语音合成可得到高度自然的语音，且模型的设计和实现不需要特定领域的专家知识，可应用于多种语言、多种场景的语音合成需求。

目前，基于端到端语音合成技术的语音合成方法，使用构建的经过训练的模型生成语音时，只能生成特定说话人的语音且韵律感较差，而实际上不同人声的语音具有语速快慢、喜怒哀乐等的韵律风格，目前模拟中文的语音韵律仍属于较难实现的功能，因此为中文语音增加韵律的机制还需要继续优化提升；此外，模型训练时，大多使用来自安静环境中录制的音频用以合成训练，然而实际中更普遍的情况是，训练用音频很多是来自人工录制的音频，例如，在教育教学场景下、课堂上录制的教学音频，难以避免会录入嘈杂的背景噪声，会对模型训练的质量以及后续合成音频的质量产生影响。

发明内容

为了解决现有技术中上述至少一个问题，本申请实施例提供一种语音合成装置、方法、电子设备和计算机存储介质，用以解决至少一个技术问题。

第一方面，本申请实施例提供一种语音合成装置，其包括语音合成处理模块和语音增强模块，所述语音合成处理模块的输出与所述语音增强模块的输入相连；其中，所述语音合成处理模块包括：文本编码器、韵律控制模块、位置敏感注意力模块、注意力过渡机制模块、解码器和声码器；其中，

所述文本编码器用于基于输入的文本提取文本特征；

所述韵律控制模块用于对所述文本编码器输出的文本特征增加韵律特征，将得到的包含文本特征和韵律特征的特征数据输入所述位置敏感注意力模块；

所述位置敏感注意力模块用于根据位置敏感注意力机制获取所述特征数据中预设时间步长的对齐特征，将所述对齐特征输入所述注意力过渡机制模块；

所述注意力过渡机制模块用于根据所述对齐特征计算各个预设时间步长对应的修正注意概率，并将所述修正注意概率输入所述解码器；

所述解码器用于基于所述包含文本特征和韵律特征的特征数据生成频谱图，其中在生成频谱图过程中所述解码器根据所述对齐特征和所述修正注意概率确定在各时间步长上移动或者停留；

所述声码器用于将所述频谱图转换为音频；

所述语音增强模块用于对所述音频提取音频特征，对所述音频特征进行增强处理，并输出增强处理后的合成语音。

第二方面，本申请实施例提供一种语音合成方法，所述语音合成方法基于如上所述的语音合成装置，所述语音合成方法包括：

将目标文本输入所述语音合成装置的所述文本编码器，将目标音频输入所述语音合成装置的所述韵律控制模块；

接收所述语音合成装置输出的经过增强处理的合成语音，所述合成语音携带有所述目标音频的韵律特征。

第三方面，本申请实施例提供一种语音合成方法，所述语音合成方法基于如上所述的语音合成装置，所述语音合成方法包括：