[发明专利]一种基于局部频谱图像描述子的鲁棒音频识别方法

权利要求书

1.一种基于局部频谱图像描述子的鲁棒音频识别方法，其特征在于，将一维音频信号转化为二维听觉图像，提取图像特征作为音频指纹，使其对时间缩放和变调主要的音频失真类型具有鲁棒性；其包括指纹提取步骤（1），（2）和指纹匹配步骤(3)：

步骤1，使用短时傅里叶变换(STFT)将1维音频信号转换为2维时-频表示；

其中，

(1)使用长度为185.76ms、重叠率为75%的汉宁窗对音频信号进行时域上的重叠分段；

(2)利用短时傅里叶变换得到时-频平面语谱图，再依照公式(1)将其量化成对数空间上的64个子频带，

fi=318*2i-112,]]>i＝1，2，...，64          (1)

其中f_i是第i个子频带的中心频率；

步骤2，在语谱图上计算SIFT局部描述子，并将每一个描述子作为音频信号的一个子指纹；

其中，SIFT特征提取的过程如下：

(1)尺度空间极值检测，以初步确定关键点位置和所在尺度；

(2)通过函数拟合精确确定关键点的位置与尺度，除去对噪声敏感的低对比度的关键点以及不稳定的边缘响应点；

(3)利用关键点邻域的局部像素梯度方向，为每个关键点指定方向参数，使算子具备旋转不变性；

(4)生成SIFT特征描述符，对每个关键点采用4*4共16个邻域像素计算8个方向的梯度直方图，形成一个128维的描述子；

步骤3，将检索音频片段的每个子指纹与数据库中原始音频的子指纹进行匹配，返回和检索音频片段具有最多匹配子指纹的原始音频作为识别结果；

其中的指纹匹配过程包括基于LSH方法的指纹检索步骤和相似性计算步骤：

(1)基于LSH方法的指纹检索

采用LSH方法加速子指纹的检索，给定一个点集{p}，一个哈希函数定义为，

g(p)＝(h₁(p)，...，h_k(p))                               (2)

其中k是宽度函数，{h_j(p),j=1,…,k}是LSH函数，这些LSH函数满足如下不等式，

P_r(h(q)＝h(v))≥p₁，当||q-r||≤r₁

P_r(h(q)＝h(v))≤p₂，当||q-r||≥r₂                                 (3)

p₁，p₂，r₁，r₂是相应阈值，满足p₁＞p₂，r₁＜r₂；而q和v是任意两点，且||q-r||为两点间距离；公式(3)表明距离小于r₁的两点比距离大于r₂的两点在概率上更有可能被映射到同一个桶中；

(2)指纹相似性计算

利用LSH将相似指纹映射到相同的桶中后，为检索音频片段的每个子指纹做相似搜索，设置额外的指纹匹配过滤LSH的最近邻检索结果：设a是待测子指纹，b是LSH检索到的数据库中与a距离最近的指纹，b’是除b外与a的距离最近的指纹，若如下不等式成立，

D(a，b)＜Th*D(a，b′)                                           (4)

则表明a与b是匹配的；式中D(x，y)表示变量x与y之间的欧氏距离，Th是设定的阈值。

2.按权利要求1所述的方法，其特征在于，所述的基于LSH的最近邻检索的中两个阶段为，索引阶段和检索阶段，其中，在索引阶段，数据库中的所有数据点被映射到L个哈希表中，每一个哈希表对应一个随机选取的哈希函数；在检索阶段，给定一个检索数据点q，所述的方法对L个哈希表进行迭代；对每一个哈希表，所述方法遍历和q处于同一桶中的所有数据；最终返回的最近邻结果是L个哈希表中和q距离最近的数据点。