[发明专利]一种带检错功能的音频乐谱比对方法

说明书

技术领域

本发明涉及一种计算机乐谱跟随系统，尤其涉及一种利用计算机自动跟踪演奏音频，使计算机中存储的乐谱与现场演奏音频同步的方法。

背景技术

乐谱跟随最初在20世纪80年代以计算机辅助自动伴奏的形式出现，1984年由Barry Vercoe和Roger Dannenberg首次独立提出乐谱跟随的概念。乐谱跟随系统在计算机伴奏，虚拟演奏排练，计算机辅助乐器演奏练习等方面有广阔的应用前景。乐谱跟随的核心技术是音频乐谱比对，比对的本质是音频特征值与乐谱特征值之间的相似度比较。其中，演奏音频特征值的提取是比对系统的重要组成部分，通过提取音频的特征值，可以获取音乐的内容信息，进而有助于音乐分析、检索、音乐内容的直接定位播放等。近10年来，研究人员更倾向于使用低层音乐特征作为比对特征，例如：梅尔倒频谱系数、音高直方图、色度图谱。对于音频乐谱比对方法来说，实验证明色度特征优于其他特征。

乐谱跟随使用的主流算法主要有隐马尔科夫模型(Hidden Markov Model,HMM)和动态时间规整(Dynamic Time Warping,DTW)算法。很多学者在研究中使用HMM构造乐谱跟随系统，Cont进一步提出了隐马尔科夫/半马尔可夫模型。然而HMM算法需要精心设计和训练，而DTW算法只需简单的模型不需训练即可获得很好的结果，处理音乐音频使用DTW算法在时间复杂度上具有很大的优势。

目前，大多数乐谱跟随采用的音频与乐谱比对算法均对时间域进行比较随机的分帧，大多只具有音符对齐的功能，无法检测偏差音符例如多弹、漏弹、错弹等情况。

发明内容

针对上述现有技术，本发明提供一种带检错功能的音频乐谱比对方法，使演奏音频在与乐谱对齐的同时可以准确、快速检测出偏差音符。本比对系统可以自动分析出一段演奏音频的错误所在，是乐器初学者和教授者教与学的有力辅助工具。

为了解决上述技术问题，本发明一种带检错功能的音频乐谱比对方法予以实现的技术方案是：该比对方法包括以下步骤：

步骤一、乐谱中的信息包含在MIDI文件当中，提取MIDI文件中每个音符的起始时间信息；将MIDI文件转录为音频WAV文件，采样率22050Hz，16bit，单通道，成为被参考的乐谱音频S；

步骤二、对演奏音频P进行端点检测，以确定每个单音或和弦的起始时间；

步骤三、提取乐谱音频S和演奏音频P的特征值，得到每个单音或和弦的12维色度向量，对于演奏音频P，构成演奏音频特征向量chro_P(i),i=1…N，i为音频中第i个端点开始的音频片段，N为一段演奏音频的总端点数，对于乐谱音频S，构成乐谱音频特征值向量chro_S(j),j=1…M，j为音频中第j个端点开始的音频片段，M为一段乐谱音频的总端点数；

步骤四、计算演奏音频P特征向量与乐谱音频S特征向量的欧式距离矩阵，利用DTW算法得到对齐路径W=W₁,…,W_m，m为总对应点数，每一个W_k对应一个有序对(i_k,j_k)，意味着P_i与S_j对齐；

步骤五、检测演奏音频中是否有多弹、漏弹、错弹的情况。

进一步讲，本发明一种带检错功能的音频乐谱比对方法中，