[发明专利]音频特征提取方法及装置

说明书

本申请实施例提供一种音频特征提取方法及装置。该方法包括：从目标音频数据中提取低层音频特征；将所述低层音频特征输入到预先训练的深度神经网络模型中，提取所述目标音频数据的高层深度特征；通过sigmoid函数对提取到的高层深度特征进行计算，得到所述目标音频数据的音频深度哈希编码，所述音频深度哈希编码作为所述目标音频数据的音频特征表示。由此，本申请提供的音频特征提取方法及装置能够从整体上理解音频语义信息，兼顾音频之间的关联性和差异性，同时提高了音频分类检索效率，支持海量数据的实时检索。

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种音频特征提取方法及装置。

背景技术

目前，在音频的分类与检索中，提取音频的共性特征非常重要，这些共性特征既需要相互关联，又需要保持一定的差异性。在分类场景中，需要共性特征的关联性较强，用于区分不同的类别。而在检索场景中，需要共性特征的差异性较强，保证每个样本具有独特的属性，检索出与其相似的样本。

现有的特征提取方法主要是提取音频的低层语义特征，然而，由于音频的低层语义特征的描述性较弱，只能从局部上理解音频信号，无法从整体上理解音频语义信息，因而导致音频的分类与检索不准确。并且，音频的低层语义特征一般以浮点数的形式表示，当计算音频特征之间的相似性时，所需的计算量较大，效率较低，无法支持实时性和海量数据的计算。

发明内容

为了克服现有技术中的上述不足，本申请的目的在于提供一种音频特征提取方法及装置，能够从整体上理解音频语义信息，兼顾音频之间的关联性和差异性，同时提高了音频分类检索效率，支持海量数据的实时检索。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供一种音频特征提取方法，所述方法包括：

从目标音频数据中提取低层音频特征；

将所述低层音频特征输入到预先训练的深度神经网络模型中，提取所述目标音频数据的高层深度特征；

通过sigmoid函数对提取到的高层深度特征进行计算，得到所述目标音频数据的音频深度哈希编码，所述音频深度哈希编码作为所述目标音频数据的音频特征表示。

可选地，在所述将所述低层音频特征输入到预先训练的深度神经网络模型中，提取所述目标音频数据的高层深度特征的步骤之前，所述方法还包括：

训练所述深度神经网络模型；

所述训练所述深度神经网络模型的步骤，包括：

获取音频数据样本集，其中，所述音频数据样本集包括多个类别的原始音频样本；

对音频数据样本集进行扩充，得到扩充后的音频数据样本集，所述扩充后的音频数据样本集包括多个类别的音频样本集合，每个类别的音频样本集包括该类别的原始音频样本以及基于该类别的原始音频样本扩充得到的多个扩充音频样本；

基于所述扩充后的音频数据样本集创建多个索引组合矩阵，其中，每个索引组合矩阵包括锚示例、正示例和负示例，所述锚示例和所述正示例来源于同一类别的音频样本集合，所述负示例来源于与所述锚示例和所述正示例不同类别的音频样本集合；

将所述多个索引组合矩阵输入到深度神经网络模型进行训练，并将三元损失函数作为所述深度神经网络模型的损失函数计算得到Loss值；

基于所述Loss值更新所述深度神经网络模型的网络参数并重复上述训练过程，直到满足训练终止条件时输出训练完成的深度神经网络模型。

可选地，所述对音频数据样本集进行扩充，得到扩充后的音频数据样本集的步骤，包括：