[发明专利]一种音频分离网络的训练方法、装置、电子设备及存储介质在审
申请号: | 202111566754.X | 申请日: | 2021-12-20 |
公开(公告)号: | CN114283842A | 公开(公告)日: | 2022-04-05 |
发明(设计)人: | 毛俊伟;刘雪松 | 申请(专利权)人: | OPPO广东移动通信有限公司 |
主分类号: | G10L25/27 | 分类号: | G10L25/27;G10L25/48 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 张静;王黎延 |
地址: | 523860 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 音频 分离 网络 训练 方法 装置 电子设备 存储 介质 | ||
本申请实施例公开了一种音频分离网络的训练方法、装置、电子设备及存储介质,基于第一音频分离网络对音频数据集进行分离;基于分离出的目标音轨数据及其对应的混合音频数据对第二音频分离网络进行训练,以更新第二音频分离网络的网络参数,损失函数不满足收敛条件时,将更新后的第二音频分离网络作为第一音频分离网络执行下一次训练过程,直到训练结束。这里,在每次训练过程中先利用第一音频分离网络对混合音频数据进行分离,提取干净的音轨数据,对干净的音轨数据进行混合,得到训练数据用于训练第二音频分离网络,如此反复迭代,不断优化第二音频分离网络的同时,分离出更干净的音轨数据,提高训练数据质量,从而提高训练效果。
技术领域
本申请涉及人工智能技术,尤其涉及一种音频分离网络的训练方法、装置、电子设备及存储介质。
背景技术
音频分离技术是指从原始音频数据中提取和分离出人声和乐器等原始音轨的技术。近几年,基于AI(Artificial Intelligence,人工智能)的音频分离算法得到了很快的发展。以Deezer公司推出的Spleeter工具为代表,它可以将普通音频数据分离到人声、鼓点、贝斯和其他乐器四个音轨,基于大量数据的训练,其分离效果越来越准确,已经被广泛应用到音频制作和回放等领域。
相较于传统算法,数据在AI算法中占据了至关重要的地位。基于AI的音频分离算法,需要的训练数据包括:人声音轨,若干种单独乐器音轨,剩余的其它乐器音轨,以及由上述音轨按一定规则混合而成的混合音轨。这些单独音轨的数量越多,风格种类越丰富,则训练出的模型的分离效果越好。因此,获取和制作大规模且高质量的音轨数据,是AI音频分离算法的核心和关键。然而,实际的音轨数据很难大规模直接取得。因此本技术方案提供一种从混合音轨中提取音轨数据并训练音频分离网络的方法。
发明内容
为解决上述技术问题,本申请实施例期望提供一种音频分离网络的训练方法、装置、电子设备及存储介质。
本申请的技术方案是这样实现的:
第一方面,提供了一种音频分离网络的训练方法,包括:
获取音频数据集;
基于第一音频分离网络对所述音频数据集中的第一混合音频数据进行分离,输出目标音轨数据;
基于预设混合策略对所述目标音轨数据进行混合,得到第二混合音频数据;
基于更新后的音频数据集对第二音频分离网络进行训练,计算损失函数;
损失函数不满足收敛条件,更新所述第二音频分离网络的网络参数,并将更新后的第二音频分离网络作为第一音频分离网络;
损失函数满足收敛条件,得到训练好的第二音频分离网络。
第二方面,提供了一种音频分离网络的训练装置,包括:
获取单元,获取音频数据集;
第一处理单元,用于基于第一音频分离网络对所述音频数据集中的第一混合音频数据进行分离,输出目标音轨数据;
混合单元,用于基于预设混合策略对所述目标音轨数据进行混合,得到第二混合音频数据;
第二处理单元,用于基于所述目标音轨数据和所述第二混合音频数据对第二音频分离网络进行训练,计算损失函数;损失函数不满足收敛条件,更新所述第二音频分离网络的网络参数,并将更新后的第二音频分离网络作为第一音频分离网络;损失函数满足收敛条件,得到训练好的第二音频分离网络。
第三方面,提供了电子设备,包括:处理器和配置为存储能够在处理器上运行的计算机程序的存储器,其中,所述处理器配置为运行所述计算机程序时,执行前述方法的步骤。
第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,其中,该计算机程序被处理器执行时实现前述方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于OPPO广东移动通信有限公司,未经OPPO广东移动通信有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111566754.X/2.html,转载请声明来源钻瓜专利网。