[发明专利]语音转换方法、装置、电子设备及介质在审
| 申请号: | 202110835128.X | 申请日: | 2021-07-23 |
| 公开(公告)号: | CN113555026A | 公开(公告)日: | 2021-10-26 |
| 发明(设计)人: | 孙奥兰;王健宗 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
| 主分类号: | G10L21/007 | 分类号: | G10L21/007;G10L25/51 |
| 代理公司: | 深圳市沃德知识产权代理事务所(普通合伙) 44347 | 代理人: | 高杰;于志光 |
| 地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 语音 转换 方法 装置 电子设备 介质 | ||
1.一种语音转换方法,其特征在于,所述方法包括:
获取源语音数据和目标语音数据,对所述目标语音数据进行编码,得到嵌入语音数据;
获取预设的生成器和鉴别器,根据所述生成器和所述鉴别器构成语音转换模型;
将所述嵌入语音数据和所述源语音数据输入至所述语音转换模型中的生成器生成语音,得到目标转换音频;
将所述目标转换音频和所述嵌入语音数据输入至所述语音转换模型中的鉴别器中进行鉴别处理,得到鉴别结果;
判断所述鉴别结果与预设的真实结果是否一致,若所述鉴别结果与所述真实结果一致,将所述语音转换模型输出为标准语音转换模型;
若所述鉴别结果与所述真实结果不一致,对所述语音转换模型进行参数调整并重新执行鉴别处理的操作,直至重新执行鉴别处理得到的鉴别结果与所述真实结果一致,输出标准语音转换模型;
获取待转换语音数据和目标对象的声音数据,将所述待转换语音数据和所述目标对象的声音数据输入至所述标准语音转换模型中,得到所述待转换语音数据对应的最终目标语音。
2.如权利要求1所述的语音转换方法,其特征在于,所述将所述嵌入语音数据和所述源语音数据输入至所述语音转换模型中的生成器生成语音,得到目标转换音频,包括:
对所述嵌入语音数据进行第一特征提取,得到第一特征数据集,对所述源语音数据进行第二特征提取,得到第二特征数据集,将所述第一特征数据集和所述第二特征数据集汇总得到总特征数据集;
利用所述生成器中的下采样层对所述总特征数据集进行下采样处理,得到下采样数据集;
将所述下采样数据集输入至所述生成器中的瓶颈层,并对经过所述瓶颈层处理的数据进行上采样处理,得到上采样数据集;
将所述上采样数据集输入至所述生成器中的动态图网络中进行转换,得到目标转换音频。
3.如权利要求2所述的语音转换方法,其特征在于,所述对所述嵌入语音数据进行第一特征提取,得到第一特征数据集,包括:
对所述嵌入语音数据进行预加重处理、分帧处理和加窗处理以及快速傅里叶变换,得到所述嵌入语音数据的短时频谱;
将所述短时频谱输入预设的梅尔尺度滤波组中,得到梅尔频谱;
对所述梅尔频谱进行能量计算,得到对数能量;
对所述对数能量进行离散余弦变换,得到第一特征数据集。
4.如权利要求3所述的语音转换方法,其特征在于,所述对所述对数能量进行离散余弦变换,得到第一特征数据集,包括:
利用下述公式对所述对数能量进行离散余弦变换,得到第一特征数据集:
其中,C(n)指第一特征数据集,T(m)为对数能量,M为梅尔尺度滤波组中的滤波器个数,n为帧的个数。
5.如权利要求1所述的语音转换方法,其特征在于,所述将所述目标转换音频和所述嵌入语音数据输入至所述语音转换模型中的鉴别器中进行鉴别处理,得到鉴别结果,包括:
分别利用所述鉴别器中的第一鉴别网络、第二鉴别网络和第三鉴别网络对所述目标转换音频和所述嵌入语音数据进行第一鉴别值、第二鉴别值和第三鉴别值;
对所述第一鉴别值、所述第二鉴别值和所述第三鉴别值进行权重归一化,得到最终鉴别值;
若所述最终鉴别值大于或者等于预设的鉴别阈值,得到所述目标转换音频为标准转换音频的鉴别结果;
若所述最终鉴别值小于预设的鉴别阈值,得到所述目标转换音频为非标准转换音频的鉴别结果。
6.如权利要求1所述的语音转换方法,其特征在于,所述根据所述生成器和所述鉴别器构成语音转换模型,包括:
分别初始化所述生成器和所述鉴别器的参数;
将所述源语音数据输入至初始化后的生成器中得到生成语音数据,判断所述生成语音数据与所述目标语音数据是否一致;
若所述生成语音数据与所述目标语音数据不一致,则对所述生成器中的各个模块进行顺序调整,并对调整模块顺序后的生成器重新执行语音生成处理;
若所述生成语音数据与所述目标语音数据一致,根据预设的连接顺序将初始化后的所述生成器和所述鉴别器进行连接,得到所述语音转换模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110835128.X/1.html,转载请声明来源钻瓜专利网。





