[发明专利]一种基于音视频信息的自动音乐记谱方法及系统

权利要求书

1.一种基于音视频信息的自动音乐记谱方法，该方法采用多媒体技术自动完成钢琴弹奏者的音乐记谱，所述方法包含如下步骤：

步骤101)录制并采集钢琴演奏的视频和音频数据，用于同步处理分析；

步骤102)依据采集的视频信息采用视频跟踪算法获取手部在钢琴上的所有位置信息，根据所述手部位置信息确定演奏者所演奏的弹奏音符和各弹奏音符对应的弹奏时刻信息，即依据视频采集信息获得钢琴弹奏的音符备选范围序列集，简称“视频音符备选范围序列集”；

步骤103)对采集的音频信息采用音频自动音乐记谱算法获取演奏者所演奏的弹奏音符的基频信息，根据所述的基频信息确定演奏者所演奏的弹奏音符和各弹奏音符对应的弹奏时刻信息，即依据音频采集信息获取钢琴弹奏的音符备选范围序列集，简称“音频音符备选范围序列集”；

步骤104)将步骤102)获得的各个弹奏音符的所有手部位置信息和步骤103)获得的各弹奏音符的基频信息在时间上逐一进行对齐，并对对齐后的视频音符备选范围序列集和音频音符备选范围序列集取交集最终确定演奏者演奏的所有音符及这些音符的各个音符对应的弹奏时刻信息，完成对钢琴演奏的自动音乐记谱；

其中，所述弹奏时刻信息包含：各个音符的开始弹奏时刻及持续时间。

2.根据权利要求1所述的用于自动记录钢琴弹奏者乐谱的方法，其特征在于，所述步骤102)的视频跟踪算法采用背景差分法及肤色检测算法来跟踪手部在钢琴上的位置。

3.根据权利要求2所述的用于自动记录钢琴弹奏者乐谱的方法，其特征在于，所述步骤102)进一步包含如下子步骤：在演奏之前，手动完成钢琴键盘的上下左右边界的设定，同时保存空白键盘的帧作为背景帧；

待演奏开始后，将当前帧和背景帧都转换成灰度图像，并进行灰度图像直方图均衡化，做差分计算，得到差分动态部分的二值图像；同时将背景帧和当前帧都转换到HSV色彩空间及YCrCb色彩空间，分别在两个色彩空间求背景帧与当前帧的差分，得到肤色部分的动态二值图像；

对所得二值图像进行中值滤波，膨胀腐蚀，最后两两求交集，进行轮廓检测，圈定最大矩形轮廓，得到钢琴键盘上手的活动范围；

最后结合所圈定的钢琴长宽及位置信息，等比例求得手部位置所对应的音符范围。

4.根据权利要求1所述的用于自动记录钢琴弹奏者乐谱的方法，其特征在于，所述步骤103)音频自动音乐记谱算法进一步包含：

首先对演奏的钢琴采集其单音音符多种不同响度的样点，进行RTFI频谱分析获取各样点的谐波频谱结构特征及RTFI平均能量谱的平均能量谱并存储；

然后按照谐音组合原理，将RTFI平均能量谱转换为基频能量谱和相对基频能量谱；

根据相对基频能量谱算法采用峰拾取方法对可能出现的基频进行初步预测；

然后根据音符的谐波频谱结构特征和频谱不规律性，消除错误预测。

5.一种基于音视频信息的自动音乐记谱系统，该系统采用多媒体技术自动完成钢琴弹奏者的音乐记谱，所述系统包含：

音视频采集模块，用于录制并采集钢琴演奏的视频和音频信息；

音频分析模块，用于将采集的音频数据进行RTFI分析获得RTFI平均能量谱，将获得的RTFI平均能量谱，采用基于能量变化的切分方法得到音符的弹奏时刻和持续时间，运用快速非迭代方法对获得的获得基频信息，结合音符的起始位置和多基频信息得出大致的各个音符的范围及这些音符的各个音符对应的弹奏时刻信息；

视频数据分析模块，用于将采集的视频图像进行图像预处理和分析提取出所有音符对应的手部位置信息，并将所有手部位置信息输入音视频信息综合处理模块；和

音视频信息综合处理模块，用于手部位置信息缩小音频数据分析模块的音符判定范围，最终提取出所弹奏的各个音符的乐谱信息。