[发明专利]音乐文件的人声分离方法和装置在审
申请号: | 202111262469.9 | 申请日: | 2021-10-28 |
公开(公告)号: | CN114005460A | 公开(公告)日: | 2022-02-01 |
发明(设计)人: | 徐焕芬;周跃兵 | 申请(专利权)人: | 广州艾美网络科技有限公司 |
主分类号: | G10L21/028 | 分类号: | G10L21/028 |
代理公司: | 广州市律帆知识产权代理事务所(普通合伙) 44614 | 代理人: | 余永文 |
地址: | 510000 广东省广州市海*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 音乐文件 人声 分离 方法 装置 | ||
1.一种音乐文件的人声分离方法,其特征在于,包括:
获取歌手的有效语料信息;
对所述有效语料信息进行神经网络分析得到该歌手声纹的人声特征系数矩阵,并存储在所述歌手的特征库中;
导入目标音乐,识别所述目标音乐的歌手,并从所述特征库查找出该歌手声纹的人声特征系数矩阵;
将所述目标音乐的频谱信息与所述人声特征系数矩阵相乘得到目标音乐的人声文件。
2.根据权利要求1所述的音乐文件的人声分离方法,其特征在于,还包括:
获取歌手的每首音乐的伴奏特征系数矩阵,并存储在所述歌手的特征库中;
识别所述目标音乐的歌手,并从所述特征库查找出该歌手对应该目标音乐的伴奏特征系数矩阵;
将所述目标音乐的频谱信息与所述伴奏特征系数矩阵相乘得到目标音乐的伴奏文件;
利用所述伴奏文件对人声文件进行降噪滤波处理,得到纯人声文件。
3.根据权利要求2所述的音乐文件的人声分离方法,其特征在于,所述将所述目标音乐的频谱信息与所述人声特征系数矩阵相乘得到目标音乐的人声文件,包括:
采用STFT技术对所述目标音乐进行分帧和添加汉宁窗得到音乐幅度谱;
将所述音乐幅度谱与所述人声特征系数矩阵相乘得到人声幅度谱;
将所述人声幅度谱进行逆STFT处理得到人声文件;
所述将所述目标音乐的频谱信息与所述伴奏特征系数矩阵相乘得到目标音乐的伴奏文件,包括:
将所述音乐幅度谱与所述伴奏特征系数矩阵相乘得到伴奏幅度谱;
将所述伴奏幅度谱进行逆STFT处理得到伴奏文件。
4.根据权利要求2所述的音乐文件的人声分离方法,其特征在于,所述利用所述伴奏文件对人声文件进行降噪滤波处理,得到纯人声文件,包括:
将所述伴奏文件按设定衰减量比例进行衰减;
将衰减后的伴奏文件作为所述人声文件中的伴奏残留的参考信息;
根据所述参考信息采用归一化最小均方误差滤波器对所述人声文件中的伴奏信息残留以及过滤引入噪声进行过滤,输出纯人声文件。
5.根据权利要求2所述的音乐文件的人声分离方法,其特征在于,所述对所述有效语料信息进行神经网络分析得到该歌手声纹的人声特征系数矩阵,包括:
对所述歌手的所有有效语料信息提取特征信息;其中,所述特征信息包括基音、共振峰、谐波特性、倒频谱、元音、辅音、反射系数、音量、音色和/或节奏;
根据所述特征信息构造人声特征系数矩阵和伴奏特征系数矩阵;根据所述歌手的纯人声文件和纯伴奏文件分别修正人声特征系数矩阵和伴奏特征系数矩阵的系数;
通过计算纯人声文件与人声特征系数矩阵输出之间的均方偏差值训练所述人声特征系数矩阵,以及计算纯伴奏文件与伴奏特征系数矩阵输出之间的均方偏差值优化所述伴奏特征系数矩阵。
6.根据权利要求5所述的音乐文件的人声分离方法,其特征在于,所述根据所述特征信息构造人声特征系数矩阵和伴奏特征系数矩阵;根据所述歌手的纯人声文件和纯伴奏文件分别修正人声特征系数矩阵和伴奏特征系数矩阵的系数,包括:
对所述特征信息进行因子分析得到低维特征系数矩阵;
基于神经网络技术和所述低维特征系数矩阵构造人声特征系数矩阵和伴奏特征系数矩阵;
根据所述歌手的纯人声歌曲和带伴奏的歌曲来获取纯人声文件和纯伴奏文件;
以所述纯人声文件和纯伴奏文件为样本分别导入所述人声特征系数矩阵和伴奏特征系数矩阵以修正人声特征系数矩阵和伴奏特征系数矩阵的系数。
7.根据权利要求1所述的音乐文件的人声分离方法,其特征在于,所述获取歌手的有效语料信息,包括:
基于公开数据来源采集歌手的原始语料;
对所述歌手的所述原始语料进行过滤静音段和裁剪成语音片段;
通过聚类方式对所述歌手的各个语音分段进行独立语音分析获得有效语料信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州艾美网络科技有限公司,未经广州艾美网络科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111262469.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:视频处理方法、装置、电子设备以及存储介质
- 下一篇:音乐伴奏的分离方法和装置