[发明专利]语音合成方法、装置、可读存储介质及电子设备在审
申请号: | 202010609828.2 | 申请日: | 2020-06-29 |
公开(公告)号: | CN111653261A | 公开(公告)日: | 2020-09-11 |
发明(设计)人: | 顾宇 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G10L13/02 | 分类号: | G10L13/02;G10L13/04;G10L13/08;G10L19/16;G10L25/30 |
代理公司: | 北京英创嘉友知识产权代理事务所(普通合伙) 11447 | 代理人: | 曹寒梅 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 语音 合成 方法 装置 可读 存储 介质 电子设备 | ||
本公开涉及一种语音合成方法、装置、可读存储介质及电子设备。所述方法包括:确定待合成文本对应的声学特征信息;根据所述声学特征信息,通过第一声码器,获得与所述待合成文本对应的音频信息,其中,所述第一声码器是通过对第二声码器进行知识蒸馏而获得的,所述第一声码器和所述第二声码器均为基于神经网络模型的声码器,且所述第一声码器的模型复杂度低于所述第二声码器的模型复杂度。这样,第一声码器学习到第二声码器的优秀的数据处理能力,且具有简单的模型结构,兼具准确性和速度这两种优点。从而,基于第一声码器对待合成文本进行语音合成,能够在保证语音合成准确性的基础上,快速获得语音合成的结果。
技术领域
本公开涉及计算机技术领域,具体地,涉及一种语音合成方法、装置、可读存储介质及电子设备。
背景技术
声码器基于声学特征(如,基频、频谱等)构建语音波形,以形成合成后的音频。由此可见,声码器是语音合成技术中十分重要的部分。语音合成的准确性及速度是衡量声码器性能的重要指标。目前,随着神经网络的应用普及,可以基于神经网络训练得到神经网络声码器,而为了保证语音合成的准确性,神经网络声码器需要具备复杂的网络结构,然而,一方面,复杂结构的声码器在前期训练时需要耗费大量的训练时间,训练效率及模型实时率低,另一方面,训练所得的声码器由于内部结构复杂,语音合成的速度不够快。
发明内容
提供该发明内容部分以便以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
第一方面,本公开提供一种语音合成方法,所述方法包括:
确定待合成文本对应的声学特征信息;
根据所述声学特征信息,通过第一声码器,获得与所述待合成文本对应的音频信息,其中,所述第一声码器是通过对第二声码器进行知识蒸馏而获得的,所述第一声码器和所述第二声码器均为基于神经网络模型的声码器,且所述第一声码器的模型复杂度低于所述第二声码器的模型复杂度。
第二方面,本公开提供一种语音合成装置,所述装置包括:
确定模块,用于确定待合成文本对应的声学特征信息;
语音合成模块,用于根据所述声学特征信息,通过第一声码器,获得与所述待合成文本对应的音频信息,其中,所述第一声码器是通过对第二声码器进行知识蒸馏而获得的,所述第一声码器和所述第二声码器均为基于神经网络模型的声码器,且所述第一声码器的模型复杂度低于所述第二声码器的模型复杂度。
第三方面,本公开提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该程序被处理装置执行时实现本公开第一方面所述方法的步骤。
第四方面,本公开提供一种电子设备,包括:
存储装置,其上存储有计算机程序;
处理装置,用于执行所述存储装置中的所述计算机程序,以实现本公开第一方面所述方法的步骤。
通过上述技术方案,首先确定待合成文本对应的声学特征信息,并根据该声学特征信息,通过第一声码器,获得与待合成文本对应的音频信息。其中,第一声码器是通过对第二声码器进行知识蒸馏而获得的。第一声码器和第二声码器均为基于神经网络模型的声码器,且第一声码器的模型复杂度低于第二声码器的模型复杂度。也就是说,第一声码器学习到第二声码器的优秀的数据处理能力,且具有简单的模型结构,兼具准确性和速度这两种优点。从而,基于第一声码器对待合成文本进行语音合成,能够在保证语音合成准确性的基础上,快速获得语音合成的结果。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010609828.2/2.html,转载请声明来源钻瓜专利网。