[发明专利]模型训练方法、音频处理方法、设备及可读存储介质在审
| 申请号: | 202111045114.4 | 申请日: | 2021-09-07 |
| 公开(公告)号: | CN113744721A | 公开(公告)日: | 2021-12-03 |
| 发明(设计)人: | 江益靓;姜涛;赵合;胡鹏 | 申请(专利权)人: | 腾讯音乐娱乐科技(深圳)有限公司 |
| 主分类号: | G10L15/02 | 分类号: | G10L15/02;G10L15/06;G10L15/16;G10L25/69;G10H1/36 |
| 代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 陈彦如 |
| 地址: | 518052 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 模型 训练 方法 音频 处理 设备 可读 存储 介质 | ||
1.一种模型训练方法,其特征在于,包括:
获取训练数据;其中,所述训练数据包括训练干声数据及对应的训练伴奏数据;
将所述训练干声数据输入初始模型的第一特征提取网络,得到训练干声特征;
将所述训练伴奏数据输入所述初始模型的第二特征提取网络,得到训练伴奏特征;
将所述训练干声特征和所述训练伴奏特征输入所述初始模型的拼接网络,得到待处理特征;
将所述待处理特征输入所述初始模型的特征处理网络,得到训练参数;
利用所述训练参数与所述训练数据的训练标签确定损失值,并利用所述损失值对所述初始模型进行参数调节;
若检测到满足训练完成条件,则将调节后的模型确定为音频评价模型。
2.根据权利要求1所述的模型训练方法,其特征在于,所述训练标签的生成过程,包括:
输出所述训练数据对应的训练音频;
获取所述训练音频对应的若干组标签数据;其中,每组所述标签数据包括若干个训练子标签,不同的所述训练子标签对应于不同的歌声与伴奏匹配评价角度;
利用各组所述若干个训练子标签生成初始训练标签,并利用若干个所述初始训练标签生成所述训练标签。
3.根据权利要求1所述的模型训练方法,其特征在于,所述初始模型为孪生网络,所述利用所述损失值对所述初始模型进行参数调节,包括:
利用所述损失值对所述第一特征提取网络进行参数调节;
利用调节后的所述第一特征提取网络参数,对所述第二特征提取网络进行参数替换;
利用所述损失值对所述特征处理网络进行参数调节。
4.根据权利要求1所述的模型训练方法,其特征在于,所述初始模型为伪孪生网络,所述利用所述损失值对所述初始模型进行参数调节,包括:
利用所述损失值分别对所述第一特征提取网络和所述第二特征提取网络进行参数调节;
利用所述损失值对所述特征处理网络进行参数调节。
5.根据权利要求1所述的模型训练方法,其特征在于,所述初始模型为半孪生网络,所述利用所述损失值对所述初始模型进行参数调节,包括:
利用所述损失值对所述第一特征提取网络进行参数调节;
利用调节后的所述第一特征提取网络中的若干个第一网络层参数,对所述第二特征提取网络中对应的若干个第二网络层进行参数替换;
利用所述损失值对所述第二特征提取网络中的非第二网络层进行参数调节;
利用所述损失值对所述特征处理网络进行参数调节。
6.根据权利要求1所述的模型训练方法,其特征在于,所述初始模型为变化孪生网络,所述利用所述损失值对所述初始模型进行参数调节,包括:
利用所述损失值对所述第一特征提取网络进行参数调节;
利用调节后的所述第一特征提取网络参数,对所述第二特征提取网络的第一分支进行参数替换;
利用所述损失值或所述第一特征提取网络对所述第二特征提取网络的第二分支进行参数调节;
利用所述损失值对所述特征处理网络进行参数调节。
7.一种音频处理方法,其特征在于,包括:
获取目标干声音频和对应的目标伴奏音频;
将所述目标干声音频输入音频评价模型的第一特征提取网络,得到目标干声特征;
将所述目标伴奏音频输入所述音频评价模型的第二特征提取网络,得到目标伴奏特征;
将所述目标干声特征与所述目标伴奏特征输入所述音频评价模型的拼接网络,得到目标特征;
将所述目标特征输入所述初始模型的特征处理网络,得到处理结果;其中,所述处理结果用于表征所述目标干声音频与所述目标伴奏音频之间的匹配和谐程度,所述目标伴奏音频基于如权利要求1至6任一项所述的模型训练方法得到。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯音乐娱乐科技(深圳)有限公司,未经腾讯音乐娱乐科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111045114.4/1.html,转载请声明来源钻瓜专利网。





