[发明专利]语音风格的迁移方法、装置、可读介质和电子设备在审
申请号: | 202110077658.2 | 申请日: | 2021-01-20 |
公开(公告)号: | CN112927674A | 公开(公告)日: | 2021-06-08 |
发明(设计)人: | 伍林;吴鹏飞;潘俊杰 | 申请(专利权)人: | 北京有竹居网络技术有限公司 |
主分类号: | G10L13/04 | 分类号: | G10L13/04;G10L13/047;G10L21/007 |
代理公司: | 北京英创嘉友知识产权代理事务所(普通合伙) 11447 | 代理人: | 魏云鹿 |
地址: | 101299 北京市平*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 语音 风格 迁移 方法 装置 可读 介质 电子设备 | ||
1.一种语音风格的迁移方法,其特征在于,所述方法包括:
获取目标文本和所述目标文本对应的第一音频,所述第一音频符合第一音色且具有目标风格;
提取所述目标文本对应的音素序列,所述音素序列中包括至少一个音素;
提取所述第一音频对应的初始声学特征序列,所述初始声学特征序列中包括每个所述音素对应的声学特征,所述声学特征用于指示该音素的韵律特征;
按照第二音色的声学统计特征对所述初始声学特征序列进行处理,得到目标声学特征序列,所述目标声学特征序列中包括每个所述音素对应的处理后的声学特征;
将所述音素序列和所述目标声学特征序列,输入预先训练的语音合成模型,以得到所述语音合成模型输出的第二音频,所述第二音频符合所述第二音色且具有所述目标风格,所述语音合成模型为根据符合所述第二音色的语料训练得到的。
2.根据权利要求1所述的方法,其特征在于,所述声学特征包括:基频、音量、语速中的至少一种;所述提取所述第一音频对应的初始声学特征序列,包括:
若所述声学特征包括语速,根据所述音素序列和所述第一音频,确定所述第一音频中每个所述音素对应的一个或多个音频帧,并根据该音素对应的音频帧的数量确定该音素对应的语速;
若所述声学特征包括音高,提取所述第一音频中的每个音频帧的音高,并根据每个音素对应的音频帧的音高,确定该音素对应的音高;
若所述声学特征包括音量,提取所述第一音频中的每个音频帧的音量,并根据每个音素对应的音频帧的音量,确定该音素对应的音量。
3.根据权利要求1所述的方法,其特征在于,所述声学特征包括:基频、音量、语速中的至少一种;
所述按照第二音色的声学统计特征对所述初始声学特征序列进行处理,得到目标声学特征序列,包括:
若所述声学特征包括语速,根据所述声学统计特征包括的语速平均值和语速方差,对每个所述音素对应的语速进行标准化,以得到该音素对应的处理后的语速;
若所述声学特征包括音高,根据所述声学统计特征包括的音高平均值和音高方差,对每个所述音素对应的音高进行标准化,以得到该音素对应的处理后的音高;
若所述声学特征包括音量,根据所述声学统计特征包括的音量平均值和音量方差,对每个所述音素对应的音量进行标准化,以得到该音素对应的处理后的音量。
4.根据权利要求1所述的方法,其特征在于,所述语音合成模型用于:
根据所述音素序列确定所述目标文本对应的文本特征序列,所述文本特征序列包括所述音素序列中每个音素对应的文本特征;
根据所述文本特征序列和所述目标声学特征序列,生成所述第二音频。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述语音合成模型是通过如下方式训练获得的:
获取训练文本、所述训练文本对应的训练音素序列和训练音频,所述训练音频符合所述第二音色,所述训练音素序列包括至少一个训练音素;
提取所述训练音频的真实声学特征序列,所述真实声学特征序列包括每个所述训练音素对应的声学特征;
按照所述声学统计特征对所述真实声学特征序列进行处理,得到训练声学特征序列,所述训练声学特征序列中包括每个所述训练音素对应的处理后的声学特征;
将所述训练音素序列和所述训练声学特征序列,输入所述语音合成模型,并根据所述语音合成模型的输出与所述训练音频,训练所述语音合成模型。
6.根据权利要求5所述的方法,其特征在于,所述语音合成模型还是通过如下方式训练获得的:
在所述提取所述训练音频的真实声学特征序列之后,确定每个所述训练音素对应的声学特征的声学特征平均值和声学特征方差,并将所述声学特征平均值和所述声学特征方差,作为所述声学统计特征。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京有竹居网络技术有限公司,未经北京有竹居网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110077658.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种全金属电磁阀阀座精密装配研磨方法
- 下一篇:一种方便拆解和清洁的搅拌缸