[发明专利]音频特征提取模型的训练方法、音频识别方法及相关设备在审
申请号: | 202110682612.3 | 申请日: | 2021-06-18 |
公开(公告)号: | CN113421574A | 公开(公告)日: | 2021-09-21 |
发明(设计)人: | 胡诗超 | 申请(专利权)人: | 腾讯音乐娱乐科技(深圳)有限公司 |
主分类号: | G10L17/04 | 分类号: | G10L17/04;G10L17/18;G10L17/02;G10L17/26;G06N3/04;G06N3/08;G06K9/62 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 熊永强;杜维 |
地址: | 518000 广东省深圳市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 音频 特征 提取 模型 训练 方法 识别 相关 设备 | ||
1.一种音频特征提取模型的训练方法,其特征在于,所述方法包括:
获取训练数据集,所述训练数据集包括多个参考用户的音频数据;
对所述多个参考用户的音频数据进行预处理,得到所述多个参考用户的音频频谱图;
根据所述多个参考用户的音频频谱图生成多个批处理数据,每个所述批处理数据包括由N个参考用户中每个参考用户的M个单位频谱数据组成的频谱特征矩阵,所述N和所述M均为大于0的整数;
利用所述批处理数据对神经网络进行训练,得到所述N个参考用户的特征向量,直到根据所述N个参考用户的特征向量确定所述神经网络的损失函数收敛时,得到音频特征提取模型。
2.根据权利要求1所述的方法,其特征在于,所述利用所述批处理数据对神经网络进行训练,得到所述N个参考用户的特征向量,直到根据所述N个参考用户的特征向量确定所述神经网络的损失函数收敛时,得到音频特征提取模型,包括:
调用神经网络对所述频谱特征矩阵进行处理,得到所述N个参考用户中每个参考用户的M个特征向量;
根据所述N个参考用户中每个参考用户的M个特征向量和所述神经网络的损失函数确定第一损失值;
根据所述第一损失值对所述神经网络的网络参数进行调整,直到所述神经网络的损失函数收敛时,得到音频特征提取模型。
3.根据权利要求2所述的方法,其特征在于,所述根据所述N个参考用户中每个参考用户的M个特征向量和所述神经网络的损失函数确定第一损失值,包括:
获取所述N个参考用户中同一参考用户的M个特征向量之间的距离,以及不同参考用户的M个特征向量之间的距离;
根据所述同一参考用户的M个特征向量之间的距离、所述不同参考用户的M个特征向量之间的距离和所述神经网络的损失函数,确定第一损失值。
4.根据权利要求2或3所述的方法,其特征在于,所述调用神经网络对所述频谱特征矩阵进行处理,得到所述N个参考用户中每个参考用户的M个特征向量,包括:
从所述多个批处理数据中确定第一批处理数据;
调用神经网络对所述第一批处理数据包括的频谱特征矩阵进行处理,得到所述第一批处理数据对应的N个参考用户中每个参考用户的M个特征向量。
5.根据权利要求4所述的方法,其特征在于,所述根据所述第一损失值对所述神经网络的网络参数进行调整,直到所述神经网络的损失函数收敛时,得到音频特征提取模型,包括:
若所述第一损失值不满足收敛条件,则根据所述第一损失值对所述神经网络的网络参数进行调整;
从所述多个批处理数据中确定第二批处理数据;
根据网络参数调整后的神经网络、所述第二批处理数据和所述神经网络的损失函数,确定第二损失值;
若所述第二损失值满足所述收敛条件,则将网络参数调整后的神经网络作为音频特征提取模型。
6.一种音频识别方法,其特征在于,所述方法包括:
获取待识别用户的音频数据;
将所述音频数据输入如权利要求1~5中任一项所述的音频特征提取模型,得到所述待识别用户的第一特征向量;
从用户特征库中确定与所述第一特征向量匹配的第二特征向量,所述用户特征库包括至少一个参考用户的特征向量;
根据所述第二特征向量对应的参考用户确定所述待识别用户的音频特征信息。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
对至少一个参考用户的音频数据进行预处理,得到所述至少一个参考用户的音频频谱图;
根据所述至少一个参考用户的音频频谱图生成多个批处理数据,每个所述批处理数据包括由N个参考用户中每个参考用户的M个单位频谱数据组成的频谱特征矩阵,所述N和所述M均为大于0的整数;
利用所述音频特征提取模型对每个所述批处理数据包括的频谱特征矩阵进行处理,得到所述至少一个参考用户中每个参考用户的M个特征向量;
根据所述至少一个参考用户中每个参考用户的M个特征向量创建用户特征库。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯音乐娱乐科技(深圳)有限公司,未经腾讯音乐娱乐科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110682612.3/1.html,转载请声明来源钻瓜专利网。