[发明专利]一种音频节拍的检测方法、装置、计算机设备和存储介质在审
申请号: | 202110565138.6 | 申请日: | 2021-05-24 |
公开(公告)号: | CN113299318A | 公开(公告)日: | 2021-08-24 |
发明(设计)人: | 罗海斯·马尔斯;胡正倫 | 申请(专利权)人: | 百果园技术(新加坡)有限公司 |
主分类号: | G10L25/51 | 分类号: | G10L25/51;G10L25/30 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
地址: | 新加坡巴西班让路*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 音频 节拍 检测 方法 装置 计算机 设备 存储 介质 | ||
1.一种音频节拍的检测方法,其特征在于,包括:
获取多媒体文件,所述多媒体文件中具有多帧音频信号;
从所述多媒体文件的多帧音频信号中提取局部的特征,获得多帧音频特征向量;
对多帧所述音频特征向量进行编码,获得第一背景向量;
在对所述第一背景向量添加关于所述音频信号的注意力的条件下,对所述第一背景向量进行全局的解码,获得所述音频信号表达的音符。
2.根据权利要求1所述的方法,其特征在于,所述从所述多媒体文件的多帧音频信号中提取局部的特征,获得多帧音频特征向量,包括:
确定卷积层;
将所述多媒体文件的多帧音频信号输入所述卷积层中进行卷积操作,获得多帧音频特征向量。
3.根据权利要求1所述的方法,其特征在于,所述对多帧所述音频特征向量进行编码,获得第一背景向量,包括:
确定预先针对音频信号训练的编码器;
将多帧所述音频特征向量输入所述编码器中进行编码,以输出位于所述编码器中末位第一时间步的多帧隐藏状态,作为第一背景向量。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述在对所述第一背景向量添加关于所述音频信号的注意力的条件下,对所述第一背景向量进行全局的解码,获得所述音频信号表达的音符,包括:
确定预先针对音频信号训练的解码器;
基于当前所有所述第一背景向量计算位于所述解码器中当前第二时间步的第二背景向量,以表达对于所述音频信号的注意力;
将所述第二背景向量输入所述解码器中进行全局的解码,以输出所述音频信号表达的音符。
5.根据权利要求4所述的方法,其特征在于,所述基于当前所有所述第一背景向量计算位于所述解码器中当前第二时间步的第二背景向量,以表达对于所述音频信号的注意力,包括:
确定位于编码器中当前各个第一时间步的第一隐藏状态,所述编码器用于对多帧所述音频特征向量进行编码;
在同步所述解码器中当前第二时间步的条件下,分别对各个所述第一隐藏状态配置与所述音频信号的注意力相关的权重;
基于所述第一隐藏状态与所述权重计算位于所述解码器中当前第二时间步的第二背景向量,以表达对于所述音频信号的注意力。
6.根据权利要求5所述的方法,其特征在于,所述与所述解码器中当前第二时间步同步的条件下,分别对各个所述第一隐藏状态配置与所述音频信号的注意力相关的权重,包括:
确定位于解码器中上一第二时间步的第二隐藏状态;
将所述第一隐藏状态与所述第二隐藏状态输入与所述音频信号适配的注意力机制中,以输出相关性;
对所述相关性进行激活,获得与所述音频信号的注意力相关的权重。
7.根据权利要求5所述的方法,其特征在于,所述基于所述第一隐藏状态与所述权重计算位于所述解码器中当前第二时间步的第二背景向量,以表达对于所述音频信号的注意力,包括:
针对所述编码器中各个第一时间步,计算所述第一隐藏状态与所述权重之间的乘积;
针对所述编码器中所有第一时间步,计算所述乘积之间的和值,获得位于所述解码器中当前第二时间步的第二背景向量,以表达对于所述音频信号的注意力。
8.一种音频节拍的检测装置,其特征在于,包括:
多媒体文件获取模块,用于获取多媒体文件,所述多媒体文件中具有多帧音频信号;
局部特征提取模块,用于从所述多媒体文件的多帧音频信号中提取局部的特征,获得多帧音频特征向量;
音频编码模块,用于对多帧所述音频特征向量进行编码,获得第一背景向量;
音频解码模块,用于在对所述第一背景向量添加关于所述音频信号的注意力的条件下,对所述第一背景向量进行全局的解码,获得所述音频信号表达的音符。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百果园技术(新加坡)有限公司,未经百果园技术(新加坡)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110565138.6/1.html,转载请声明来源钻瓜专利网。