[发明专利]一种用于辅助钢琴教学的智能识别弹奏错误的方法及系统

说明书

本发明提供一种用于辅助钢琴教学的智能识别弹奏错误的方法，包括：从钢琴键盘上方获取弹奏钢琴的包含完整钢琴键盘的2D图像；通过钢琴键盘检测网络对所述2D图像进行目标检测以检测出以2D图像的相对位置坐标表示的钢琴键盘区域，并通过转换获得2D图像原始坐标下的钢琴键盘位置坐标；通过手部检测网络对以钢琴键盘位置坐标表示的钢琴键盘区域进行目标检测以检测出以钢琴键盘区域的相对位置坐标表示的手部区域，并通过转换获得2D图像原始坐标下的手部位置坐标；通过手型错误检测网络识别以手部位置坐标表示的手部区域中的手型错误类型以及以手部区域的相对位置坐标表示的手型错误位置，并通过转换获得2D图像原始坐标下的手型错位位置坐标。

技术领域

本发明涉及深度学习领域，尤其涉及一种用于辅助钢琴教学的智能识别弹奏错误的方法及系统。

背景技术

目前钢琴教学大多数采用的是教师当面指导教学的方式，这种方式受人力、时间、金钱、教师水平等因素限制，大大增加了钢琴学习的难度。随着AI时代的到来，人工智能技术成为了解决钢琴学习问题的一个突破口，诞生了越来越多的智能钢琴教学系统。现有的智能钢琴教学系统存在以下主要缺点：

1、大部分方案采用的是基于特征比对的方法，首先，通过数学模型，建立一个正确手型的标准数据库；然后，构建预测模型，用于抽取预测图片的特征，将该特征与标准数据库进行比对，从而判断是否为错误的弹奏手型。这种方式的难点在于构建标准数据库是一个复杂且低效的过程，由于人手的大小、关节比例等具有很大的差异，这就导致在使用关节角度或关节长度构建标准手型时，具有较大的主观性，是不太准确的。同时，由于手与相机角度的变化，即使是差异很大的手型，在做比对时，也可能得出一个很高的相似度，导致得出错误结论。因此，特征比对的方法鲁棒性差，主观性高，识别率低。

2、在构建预测模型时，很多方法使用双目或者深度相机得到三维数据，从而构建3D模型。相比于2D视觉模型，3D模型计算量大、设计复杂、性差，对硬件要求高，需要大算力的芯片支持，深度相机和大算力芯片都会大大增加成本。

3、现有方法缺少一个系统全面的钢琴手型和指法校正方案。手型错误只能判断对与错，不能判断是哪种错误，也不能指出错误位置在哪里，指导学生矫正错误的能力不足。当前还没有很好的方法对按键和手指进行精确绑定，5根手指与88个键的组合有成百上千种，现有方法无法对指法错误进行精确的识别。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种能够准确识别弹奏错误的用于辅助钢琴教学的智能识别弹奏错误的方法及系统。