[发明专利]一种音频节拍的检测方法、装置、计算机设备和存储介质

说明书

本发明实施例提供了一种音频节拍的检测方法、装置、计算机设备和存储介质，该方法包括：获取多媒体文件，多媒体文件中具有多帧音频信号，从多媒体文件的多帧音频信号中提取局部的特征，获得多帧音频特征向量，对多帧音频特征向量进行编码，获得第一背景向量，在对第一背景向量添加关于音频信号的注意力的条件下，对第一背景向量进行全局的解码，获得音频信号表达的音符，注意力机制具有更高的感受野，可感知全局的信息，有注意对长期信息建模，适于处理音频信号中的节拍，并且，使用注意力机制训练时并不要求样本帧级对齐，降低对样本的要求，提高符合条件的样本的数量，在保证模型的性能的条件下简化模型训练，从而保证检测节拍的精确度。

技术领域

本发明实施例涉及多媒体的技术领域，尤其涉及一种音频节拍的检测方法、装置、计算机设备和存储介质。

背景技术

短视频、微电影等多媒体数据广泛应用，在这些多媒体数据中多使用不同的音乐，多媒体数据与音乐同步、方便进行字幕、特效等后期处理，提高用户观看多媒体数据的体验。

许多用户会使用特定的工具制作多媒体数据，这些工具多会使用音乐节拍检测算法(Musical beat detection)对齐多媒体数据与音乐的音符，从而减少将多媒体数据与音乐的音符同步的工作量。

目前，节拍检测算法多是使用卷积神经网络，卷积神经网络需要使用已对齐节拍的多媒体数据作为样本进行训练，但是，将连续的音乐注释成与音符相对应的片段，从而在时间轴上获得节拍精确的位置既困难又耗时，从而导致样本的数量少，卷积神经网络的性能受到有限的感受野和缺乏样本的影响，性能较差，检测的节拍的精确度较低。

发明内容

本发明实施例提出了一种音频节拍的检测方法、装置、计算机设备和存储介质，以解决检测的节拍的精确度较低的问题。

第一方面，本发明实施例提供了一种音频节拍的检测方法，包括：

获取多媒体文件，所述多媒体文件中具有多帧音频信号；

从所述多媒体文件的多帧音频信号中提取局部的特征，获得多帧音频特征向量；

对多帧所述音频特征向量进行编码，获得第一背景向量；

在对所述第一背景向量添加关于所述音频信号的注意力的条件下，对所述第一背景向量进行全局的解码，获得所述音频信号表达的音符。

第二方面，本发明实施例还提供了一种音频节拍的检测装置，包括：

多媒体文件获取模块，用于获取多媒体文件，所述多媒体文件中具有多帧音频信号；

局部特征提取模块，用于从所述多媒体文件的多帧音频信号中提取局部的特征，获得多帧音频特征向量；

音频编码模块，用于对多帧所述音频特征向量进行编码，获得第一背景向量；

音频解码模块，用于在对所述第一背景向量添加关于所述音频信号的注意力的条件下，对所述第一背景向量进行全局的解码，获得所述音频信号表达的音符。

第三方面，本发明实施例还提供了一种计算机设备，包括：

特征提取器，用于从多媒体文件的多帧音频信号中提取局部的特征，获得多帧音频特征向量；

编码器，用于对多帧所述音频特征向量进行编码，获得第一背景向量；

带注意力的解码器，用于在对所述第一背景向量添加关于所述音频信号的注意力的条件下，对所述第一背景向量进行全局的解码，获得所述音频信号表达的音符。

第四方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，