[发明专利]一种钢琴指法智能识别方法

说明书

本发明提供了一种钢琴指法智能识别方法，包含以下步骤：摄像头安装与调试：使用基于深度学习的显著性目标检测算法对钢琴键盘分割；钢琴键盘标定：弹奏的人手检测；使用人手关键点检测算法检测弹奏手指关键点坐标；弹奏手指和钢琴键盘信息的联合匹配。本发明基于深度卷积神经网络的方法通常是设计神经网络模型来挖掘更深、更为抽象的图像特征，无需手工参与，受光照、姿态等影响较小，对复杂场景适应能力更强。

技术领域

本发明涉及一种钢琴指法智能识别方法。

背景技术

钢琴乐谱弹奏场景中需要人工确认弹奏的手法是否正确，在实际操作中，这需要观察者全程注视着弹奏者的手指动作和熟悉乐谱。这就无法实现一个观察者同时观察多个弹奏者并给出及时的弹奏指法判断，尤其对没有指导者自学的人来说，根本没法进行独自学习。

钢琴弹奏学习主要是学习根据琴谱能用手指弹奏出来，钢琴弹奏教学中判断琴谱及对应弹奏的指法是否一一对应来衡量弹奏的正确性。在钢琴实践当中如果一位老师想亲自同时查看多个同学在同一时间段内弹奏同一钢琴乐谱或者不同钢琴乐谱的弹奏指法是否正确，这一教学几乎是不可能的。随着计算机视觉技术和机器学习的发展和进步，通过监控自动识别事件变得越来越有可能，例如肢体动作的识别、手势识别、人脸识别等。这些智能化识别的方法基本都是先提取物体的特征，然后根据特征做检测、分类和识别。提取物体的特征的方法主要分为传统手工设计特征的方法和基于深度卷积神经网络的方法：

1、传统手工设计特征的方法如HOG、LBP、SIFT等，传统手工设计特征相对简单，无需学习与训练，仅需简单计算与统计。但是手工设计特征容易受到外界因素的影响，实际的应用效果并不鲁棒。

2、基于深度卷积神经网络的方法通常是设计神经网络模型来挖掘更深、更为抽象的图像特征，无需手工参与，受光照、姿态等影响较小，对复杂场景适应能力更强。

发明内容

本发明的目的是提出一种钢琴指法智能识别方法，是针对独自学习钢琴弹奏乐谱和同时评价多个学员在钢琴弹奏乐谱过程中智能识别钢琴弹奏手法的错误，能够及时提醒错误信息，方便了弹奏者在没有指导者在旁边指导时也能及时错误提醒和评价。

本发明的目的是解决钢琴弹奏者在弹奏乐谱时，通过智能识别弹奏指法及时给出弹奏者的弹奏指法错误信息提示，让弹奏者能在练习时能及时纠正错误，并达到独自钢琴弹奏学习的目的。

本发明的具体技术方案如下：

一种钢琴指法智能识别方法，包含以下步骤：

步骤一 摄像头安装与调试：安装一个摄像头，摄像头的视角能够全覆盖钢琴键盘，尽量画质清晰，且摄像头能够链接钢琴显示屏幕把钢琴键盘画面实时显示在钢琴画面上。

步骤二 钢琴键盘分割：对钢琴键盘分割主要使用基于深度学习的显著性目标检测算法SOD100K[1]，该算法提出的轻量级网络主要由特征提取器和跨阶段的融合部分组成，可同时处理多个尺度的特征。特征提取器与SOD100K提出的层内多尺度块堆叠在一起，并根据特征图的分辨率分为4个阶段，每个阶段分别具有3、4、6和4个层内多尺度块。SOD100K提出的一种灵活的卷积模块(gOctConvs)组成的跨阶段融合部分会处理来自特征提取器各阶段的特征以获得高分辨率的输出。

该算法使用一种新型的动态权重衰减方案来减少特征表示的冗余性，可以根据某些通道的特定特征来调整权重衰减。具体来说，在反向传播期间，衰减项会根据某些通道的特征动态变化。动态权重衰减的权重更新可表示为：