[发明专利]基于深度学习的文本生成语音的方法、系统、装置及介质

说明书

本发明公开了一种基于深度学习的文本生成语音的方法、系统、装置及介质，其中所述方法包括：获取包含目标说话人语音的第一数据集，根据第一数据集进行训练，获得能够生成包含目标说话人特征的声音频谱的目标模型；获取待转换文本，根据待转换文本确定待转换音频，将待转换音频输入目标模型则获得目标声音声音频谱，将目标声音频谱输入声码器则获得目标音频。本申请实施例通过训练好的目标模型，把文本转换为语音，并保留原说话人如音色，说话时的韵律等特征，使语音听起来与原说话人的语音一致。本申请可广泛用于语音处理技术领域。

技术领域

本申请涉及语音处理技术领域，尤其涉及一种基于深度学习的文本生成语音的方法、系统、装置及介质。

背景技术

目前不同民族、国家、地域的语言文化存在较大差异，无法做到全球语言统一，因此从不同国家产出的音视频文件必然是跨语种的，这使得信息在交流中遇到较大障碍。为此，相关技术提出一些视频翻译方法，将视频中说话人的语言转换为另一种语言。在视频翻译的过程中，需要使用TTS(Text To Speech，文本转语音)技术，将视频中包含的的文字信息转化为可以听得懂的、流利的声音信息，而在生成语音的过程中，如何保留说话人如音色，说话时的韵律等特征，是TTS技术中重要的问题。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请提出一种基于深度学习的文本生成语音的方法、系统、装置及介质，把文本转换为语音，并保留原说话人的特征。

第一方面，本申请一些实施例提出一种基于深度学习的文本生成语音的方法，包括：获取第一数据集，根据所述第一数据集进行训练，获得目标模型；所述目标模型用于生成包含目标说话人特征的声音频谱；获取待转换文本；根据待转换文本确定待转换音频；根据待转换音频和所述目标模型，确定目标声音频谱；根据所述目标声音频谱，确定目标音频。

可选地，所述训练所述第一数据集，获得目标模型，包括：根据所述第一数据集，确定目标语音特征；根据所述目标语音特征和获取到的第一训练音频，确定第一训练声音频谱；根据所述第一训练声音频谱和声码器，确定第一目标音频；根据所述目标说话人语音和所述第一目标音频，采用第一损失函数确定第一损失值；根据所述第一损失值确定所述目标模型。

可选地，所述训练所述第一数据集，获得目标模型，包括：构建包含双向循环神经网络的音素分类器；构建语音合成器；根据所述第一数据集、所述音素分类器和所述语音合成器，确定目标模型。

可选地，所述音素分类器通过以下步骤训练得到：获取第二数据集；根据所述第二数据集，确定频谱图；根据所述频谱图，确定音素信息。

可选地，所述根据所述第一数据集、所述音素分类器和所述语音合成器，确定目标模型，包括：根据所述第一数据集和所述音素分类器，确定训练音素信息；根据所述语音合成器和所述训练音素信息，确定所述第二训练声音频谱；根据所述第二训练声音频谱和声码器，确定第二目标音频；获取目标说话人语音和第二目标音频的第二损失函数；根据所述第二损失函数调整所述语音合成器和所述音素分类器的参数，确定所述目标模型。

可选地，所述双向循环神经网络包含多层的1维卷积层、1层池化层和多层全连接层。

可选地，所述方法还包括：对所述第一数据集进行预处理，所述预处理包括音频采样率调整、音频长短调整、音频降噪。

第二方面，本申请一些实施例提出一种基于深度学习的文本生成语音系统，包括：获取模块，用于获取第一数据集、待转换文本及待转换音频；模型生成模块，用于训练所述第一数据集，确定目标模型；语音生成模块，用于根据待转换文本和所述目标模型，确定目标音频。

第三方面，本申请一些实施例提出一种装置，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如第一方面所述的基于深度学习的文本生成语音方法。