[发明专利]一种基于音视频信息的自动音乐记谱方法及系统

说明书

技术领域

本发明涉及一种应用于钢琴计算机辅助教学的自动音乐记谱技术，更具体地说，本发明涉及基于音视频结合的钢琴自动音乐记谱技术，即本发明提供了一种基于音视频信息的自动音乐记谱方法及系统。

背景技术

自动音乐记谱是指用计算机分析技术将音乐声学信号转换成符号代表，将其所对应的乐谱信息自动翻译出来。它使计算机具有一定程度“听懂“音乐，并完成记谱的能力，在音乐信号处理和分析领域中，有着十分重要的位置，同时也是一个极具挑战性的世界难题.通常音乐记谱需要受过专门训练的音乐工作者人工完成，要耗费大量的时间和人力。自动音乐记谱极大的方便了自动化音乐分析和音乐注释，可被广泛用于基于内容的音乐检索，音乐教育，音乐创作，低位率的压缩编码和自动音乐伴奏系统等，是音乐信号处理中的关键技术。

由于绝大多数音乐都是复音音乐，因此复音音乐自动记谱是该领域的重点和难点，从斯坦福大学70年代开发第一个计算机复音音乐记谱系统至今已有近40年，期间对于复音音乐记谱的研究探索也取得了丰富的学术成果，积累了宝贵的经验，然而当前该技术的准确率和实际应用需求还有相当大的差距，形成这种状况的根本原因在于复音音乐所包括的音乐风格和演奏乐器类型过于繁多，种类繁多，其自动记谱需要很高的智能，只有受过多年训练的音乐专家才能胜任；让计算机也具有如此高的智能，当前的人工智能技术还相距甚远.过去在这一领域的研究绝大部分是不针对任何特定应用的，不能充分利用与特定应用相关的其他信息。

钢琴作为当今世界最流行的乐器，被称为乐器之王，近年来我国越来越多的人特别是青少年开始接受专业或者业余的音乐教育，中国音乐家协会透露，目前全国有3000多万人在学习钢琴。钢琴作为复音乐器的代表，所需要的音乐自动记谱技术难度最大，如果能有效的解决钢琴音乐的自动记谱，其他乐器的自动记谱问题也能迎刃而解。现有的钢琴自动音乐记谱技术仅仅依靠听觉(声音媒介)，自动音乐记谱的准确率低，难以被实际应用。

发明内容

本发明的目的在于，为克服现有技术的记录钢琴弹奏乐谱存在精度低等诸多缺陷，从而提供一种基于音视频信息的自动音乐记谱方法及系统。

为实现上述目的，本发明提供了一种基于音视频信息的自动音乐记谱方法，该方法采用多媒体技术自动完成钢琴弹奏者的音乐记谱，所述方法包含如下步骤：

步骤101)录制并采集钢琴演奏的视频和音频数据，用于同步处理分析；

步骤102)依据采集的视频信息采用视频跟踪算法获取手部在钢琴上的所有位置信息，根据所述手部位置信息确定演奏者所演奏的弹奏音符和各弹奏音符对应的弹奏时刻信息，即依据视频采集信息获得钢琴弹奏的音符备选范围序列集，简称“视频音符备选范围序列集”；

步骤103)对采集的音频信息采用音频自动音乐记谱算法获取演奏者所演奏的弹奏音符的基频信息，根据所述的基频信息确定演奏者所演奏的弹奏音符和各弹奏音符对应的弹奏时刻信息，即依据音频采集信息获取钢琴弹奏的音符备选范围序列集，简称“音频音符备选范围序列集”；

步骤104)将步骤102)获得的各个弹奏音符的所有手部位置信息和步骤103)获得的各弹奏音符的基频信息在时间上逐一进行对齐，并对对齐后的视频音符备选范围序列集和音频音符备选范围序列集取交集最终确定演奏者演奏的所有音符及这些音符的各个音符对应的弹奏时刻信息，完成对钢琴演奏的自动音乐记谱；

其中，所述弹奏时刻信息包含：各个音符的开始弹奏时刻及持续时间。

所述步骤102)的视频跟踪算法采用背景差分法及肤色检测算法来跟踪手部在钢琴上的位置。

可选的，所述步骤102)进一步包含如下子步骤：在演奏之前，手动完成钢琴键盘的上下左右边界的设定，同时保存空白键盘的帧作为背景帧；

待演奏开始后，将当前帧和背景帧都转换成灰度图像，并进行灰度图像直方图均衡化，做差分计算，得到差分动态部分的二值图像；同时将背景帧和当前帧都转换到HSV色彩空间及YCrCb色彩空间，分别在两个色彩空间求背景帧与当前帧的差分，得到肤色部分的动态二值图像；

对所得二值图像进行中值滤波，膨胀腐蚀，最后两两求交集，进行轮廓检测，圈定最大矩形轮廓，得到钢琴键盘上手的活动范围；

最后结合所圈定的钢琴长宽及位置信息，等比例求得手部位置所对应的音符范围。

可选的，所述步骤103)音频自动音乐记谱算法进一步包含：

首先对演奏的钢琴采集其单音音符多种不同响度的样点，进行RTFI频谱分析获取各样点的谐波频谱结构特征及RTFI平均能量谱的平均能量谱并存储；