[发明专利]一种用于辅助钢琴教学的智能识别弹奏错误的方法及系统

权利要求书

1.一种用于辅助钢琴教学的智能识别弹奏错误的方法，其特征在于，所述方法包括：

从钢琴键盘上方获取弹奏钢琴的包含完整钢琴键盘的2D图像；

通过钢琴键盘检测网络对所述2D图像进行目标检测以检测出以2D图像的相对位置坐标表示的钢琴键盘区域，并将所述用于表示钢琴键盘区域的2D图像的相对位置坐标转换为2D图像原始坐标系下的坐标以获得2D图像原始坐标下的钢琴键盘位置坐标；

通过手部检测网络对以钢琴键盘位置坐标表示的钢琴键盘区域进行目标检测以检测出以钢琴键盘区域的相对位置坐标表示的手部区域，并将所述用于表示手部区域的钢琴键盘区域的相对位置坐标转换为2D图像原始坐标系下的坐标以获得2D图像原始坐标下的手部位置坐标；

通过手型错误检测网络识别以手部位置坐标表示的手部区域中的手型错误类型以及以手部区域的相对位置坐标表示的手型错误位置，并将所述用于表示手型错误位置的手部区域的相对位置坐标转换为2D图像原始坐标系下的坐标以获得2D图像原始坐标下的手型错位位置坐标。

2.根据权利要求1所述的用于辅助钢琴教学的智能识别弹奏错误的方法，其特征在于，所述方法还包括：

从所述以钢琴键盘位置坐标表示的钢琴键盘区域中将每个琴键划分出来得到以钢琴键盘区域的相对位置坐标表示的不同琴键，并将每个用于表示琴键的钢琴键盘区域的相对位置坐标转换为2D图像原始坐标系下的坐标以获得2D图像原始坐标下的琴键坐标；

通过指尖特征点检测网络从以手部位置坐标表示的手部区域中检测出以手部区域的相对位置坐标表示的不同手指的指尖特征点，并将每个用于表示不同手指的指尖特征点的手部区域的相对位置坐标转换为2D图像原始坐标系下的坐标以获得2D图像原始坐标下的指尖坐标；

基于指尖坐标和琴键坐标进行位置判断，将落在琴键上的指尖与该琴键进行绑定获得手指按键绑定关系，并将弹奏同一个音符的手指按键绑定关系和曲谱数据库中的标准绑定关系进行对比以检测指法错误。

3.根据权利要求1所述的用于辅助钢琴教学的智能识别弹奏错误的方法，其特征在于，还包括：

在检测出钢琴键盘区域后，将钢琴键盘区域进行第一预设像素的扩展，获得包含完整手部的钢琴键盘有效区域。

4.根据权利要求3所述的用于辅助钢琴教学的智能识别弹奏错误的方法，其特征在于，所述第一预设像素为200像素。

5.根据权利要求1所述的用于辅助钢琴教学的智能识别弹奏错误的方法，其特征在于，还包括：

在检测出手部区域后，基于钢琴键盘位置坐标和手部位置坐标的对比，过滤掉未落在钢琴键盘上的手，将落在钢琴键盘上的手的坐标边界向四个方向进行第二预设像素的扩展，获得包含落在钢琴键盘上的手的完整手部的手部区域以及对应手部位置坐标。

6.根据权利要求5所述的用于辅助钢琴教学的智能识别弹奏错误的方法，其特征在于，所述第二预设像素为30像素。