[发明专利]音频信号处理方法、装置、电子设备及存储介质有效
申请号: | 202010001636.3 | 申请日: | 2020-01-02 |
公开(公告)号: | CN111179961B | 公开(公告)日: | 2022-10-25 |
发明(设计)人: | 王珺;林永业 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G10L21/0272 | 分类号: | G10L21/0272;G10L21/0308;G10L21/0208;G10L15/26;G10L17/00 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 祝亚男 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 音频 信号 处理 方法 装置 电子设备 存储 介质 | ||
1.一种音频信号处理方法,其特征在于,所述方法包括:
将混合音频信号输入编码网络,通过所述编码网络对所述混合音频信号进行嵌入处理,得到所述混合音频信号的嵌入特征;
将所述嵌入特征输入萃取网络,通过所述萃取网络对所述嵌入特征进行泛化特征提取,得到所述混合音频信号中目标分量的泛化特征,所述目标分量对应于所述混合音频信号中目标对象的音频信号,所述泛化特征为针对所述目标对象的音频信号提取得到的抽象表征,并非是针对特定类型的干扰或特定类型的下游任务训练得到的特定特征;
基于所述目标分量的泛化特征进行音频信号处理;
其中,所述编码网络和所述萃取网络是基于未标注的样本混合信号,对教师模型和学生模型进行协同迭代训练得到的,每次迭代过程中的教师模型由上一次迭代过程的教师模型以及本次迭代过程的学生模型进行加权所得;
其中,所述学生模型包括第一编码网络和第一萃取网络,所述教师模型包括第二编码网络和第二萃取网络,所述第一编码网络的输出作为所述第一萃取网络的输入,所述第二编码网络的输出作为所述第二萃取网络的输入。
2.根据权利要求1所述的方法,其特征在于,所述通过所述编码网络对所述混合音频信号进行嵌入处理,得到所述混合音频信号的嵌入特征包括:
通过所述编码网络将所述混合音频信号映射至嵌入空间,得到所述嵌入特征。
3.根据权利要求1所述的方法,其特征在于,所述萃取网络为自回归模型,所述将所述嵌入特征输入萃取网络,通过所述萃取网络对所述嵌入特征进行泛化特征提取,得到所述混合音频信号中目标分量的泛化特征包括:
将所述嵌入特征输入所述自回归模型,通过所述自回归模型对所述嵌入特征进行递归加权处理,得到所述目标分量的泛化特征。
4.根据权利要求1所述的方法,其特征在于,所述编码网络以及所述萃取网络的协同迭代训练过程包括:
在任一次迭代过程中,基于本次迭代过程的学生模型以及上一次迭代过程的教师模型,获取本次迭代过程的教师模型;
将所述未标注的样本混合信号分别输入本次迭代过程的教师模型和学生模型,分别输出所述样本混合信号中目标分量的教师泛化特征以及学生泛化特征;
基于所述样本混合信号、所述教师泛化特征或者所述学生泛化特征中至少一项,获取本次迭代过程的损失函数值;
若所述损失函数值不符合停止训练条件,对所述学生模型的参数进行调整,得到下一次迭代过程的学生模型,基于所述下一次迭代过程的学生模型执行下一次迭代过程;
若所述损失函数值符合所述停止训练条件,基于本次迭代过程的学生模型或教师模型,获取所述编码网络和所述萃取网络。
5.根据权利要求4所述的方法,其特征在于,所述基于所述样本混合信号、所述教师泛化特征或者所述学生泛化特征中至少一项,获取本次迭代过程的损失函数值包括:
获取所述教师泛化特征以及所述学生泛化特征之间的均方误差;
获取所述样本混合信号与所述学生泛化特征之间的互信息值;
将所述均方误差或者所述互信息值中至少一项确定为本次迭代过程的损失函数值。
6.根据权利要求5所述的方法,其特征在于,所述停止训练条件为在连续第一目标次数的迭代过程中所述均方误差没有减小;或,
所述停止训练条件为所述均方误差小于或等于第一目标阈值且所述互信息值大于或等于第二目标阈值;或,
所述停止训练条件为迭代次数到达第二目标次数。
7.根据权利要求4所述的方法,其特征在于,所述基于本次迭代过程的学生模型以及上一次迭代过程的教师模型,获取本次迭代过程的教师模型包括:
将上一次迭代过程的教师模型的参数集与第一平滑系数相乘,得到第一参数集;
将本次迭代过程的学生模型与第二平滑系数相乘,得到第二参数集,其中,所述第一平滑系数与所述第二平滑系数相加所得的数值为1;
将所述第一参数集与所述第二参数集之和确定为本次迭代过程的教师模型的参数集;
基于本次迭代过程的教师模型的参数集,对上一次迭代过程的教师模型进行参数更新,得到本次迭代过程的教师模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010001636.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种水性分散剂及制备方法和应用
- 下一篇:一种监督用户坐姿的方法及设备