[发明专利]音频识别方法、系统和机器设备在审
申请号: | 201910087286.4 | 申请日: | 2019-01-29 |
公开(公告)号: | CN109859743A | 公开(公告)日: | 2019-06-07 |
发明(设计)人: | 苏丹;王珺;陈杰;俞栋 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G10L15/02 | 分类号: | G10L15/02;G10L15/06;G10L15/14;G06K9/62;G06N3/04 |
代理公司: | 深圳市隆天联鼎知识产权代理有限公司 44232 | 代理人: | 刘抗美;叶虹 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 音频数据流 标注 神经网络 损失函数 音频识别 机器设备 深度特征 时间帧 融合 混淆 神经网络训练 惩罚 数据流 参数更新 距离度量 类内距离 特征抽取 音频数据 中心向量 综合音频 鲁棒性 衡量 输出 网络 | ||
1.一种实现音频识别的神经网络训练方法,其特征在于,所述方法包括:
为音频识别的神经网络训练获取音频数据流,所述音频数据流包括分别对应若干时间帧的音频数据;
对所述音频数据流中每个时间帧的不同音频数据,在所训练神经网络中进行网络各层的特征抽取,获得对应时间帧输出的深度特征;
为标注数据中的给定标注,通过所述深度特征对所述音频数据流在设定损失函数中融合相对所述给定标注的类间混淆度衡量指数和类内距离惩罚值;
通过融合得到相对标注数据中一系列给定标注的损失函数值,进行所述神经网络中的参数更新。
2.根据权利要求1所述的方法,其特征在于,所述为音频识别的神经网络训练获取音频数据流,包括:
获取带噪且连续的音频数据流以及标注数据为所述神经网络的训练数据。
3.根据权利要求1所述的方法,其特征在于,所述为标注数据中的给定标注,通过所述深度特征对所述音频数据流在设定损失函数中融合相对所述给定标注的类间混淆度衡量指数和类内距离惩罚值,包括:
为所述标注数据中的给定标注,获取所述给定标注所属类别对应的中心向量,所述中心向量用于描述所述类别中所有深度特征的中心;
根据所述深度特征和所述中心向量对所述时间帧的音频数据进行设定损失函数中自身相对所述给定标注的类间混淆度衡量指数和类内距离惩罚值二者之间的融合,获得所述音频数据相对所述给定标注的损失函数值。
4.根据权利要求3所述的方法,其特征在于,所述根据所述深度特征和所述中心向量对所述时间帧的音频数据进行设定损失函数中自身相对所述给定标注的类间混淆度衡量指数和类内距离惩罚值二者之间的融合,获得所述音频数据相对所述给定标注的损失函数值,包括:
通过所述深度特征和所述中心向量,进行所述给定标注的中心损失计算,获得所述时间帧的音频数据相对所述给定标注的类内距离惩罚值。
5.根据权利要求4所述的方法,其特征在于,所述根据所述深度特征和所述中心向量对所述时间帧的音频数据进行设定损失函数中自身相对所述给定标注的类间混淆度衡量指数和类内距离惩罚值二者之间的融合,获得所述音频数据相对所述给定标注的损失函数值,还包括:
根据所述深度特征,采用交叉熵损失函数计算所述时间帧的音频数据相对所述给定标注的类间混淆度衡量指数。
6.根据权利要求4或5所述的方法,其特征在于,所述根据所述深度特征和所述中心向量对所述时间帧的音频数据进行设定损失函数中自身相对所述给定标注的类间混淆度衡量指数和类内距离惩罚值二者之间的融合,获得所述音频数据相对所述给定标注的损失函数值,还包括:
按照指定权重因子,在设定损失函数对所述类内距离惩罚值和所述音频数据相对所述给定标注的类间混淆度衡量指数进行加权计算,得到所述音频数据相对所述给定标注的损失函数值。
7.根据权利要求6所述的方法,其特征在于,所述音频数据流中的不同时间帧都通过所述标注数据中的给定标注进行音频数据的标注。
8.根据权利要求1所述的方法,其特征在于,所述标注数据中补充空白标注,所述为标注数据中的给定标注,通过所述深度特征对所述音频数据流在设定损失函数中融合相对所述给定标注的类间混淆度衡量指数和类内距离惩罚值,包括:
对所述标注数据中的给定标注和补充的所述空白标注,获取所属类别对应的中心向量;
对所述音频数据流按时序对所述深度特征形成的深度特征序列,计算所述音频数据流映射为给定序列标注的概率以及所述给定序列标注分别相对所述中心向量的距离,获得所述音频数据流相对所述给定序列标注的类内距离惩罚值;
其中,所述给定序列标注包括补充的所述空白标注和给定标注。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910087286.4/1.html,转载请声明来源钻瓜专利网。