[发明专利]一种钢琴练习智能辅助方法、装置及介质

说明书

本发明实施例公开一种钢琴练习智能辅助方法、装置及介质，能够准确评估弹奏的成绩以及提供直观的指法和音符等信息的指引。所述方法包括：将演奏视频逐帧分解成琴键图像，并对所述图像进行预处理，其中预处理包括标注琴键区域范围；根据琴键图像的时间信息，确定按下琴键的位置信息，将琴键图像输入到预设的手势识别模型，预测手势识别关节点，输出手指坐标，若手指坐标在琴键的位置范围内，则关联手指与琴键，得到对应关系；将基于不同演奏视频得到的不同对应关系输入深度学习模型，输出弹奏成绩；镭射光线投射到琴键上提示弹奏位置和指法信息。

技术领域

本发明涉及深度学习领域，尤其涉及一种钢琴练习智能辅助方法、装置及介质。

背景技术

随着人们生活水平和艺术修养的提高，学习钢琴的用户越来越多。钢琴初学者由于音乐基础薄弱，按照曲谱找到相应的琴键是一个很大的学习障碍，因此在弹奏过程对五线谱和钢琴琴键位置掌握不熟练难免出现按键错误或音符错误。目前在钢琴的教学中，老师一般只是会同时对多个学生示范性的谈几遍曲子，在弹奏的过程中，让学生记住老师弹奏的手法和节奏，一般都需要学生自己回家自己弹奏练习，这样的教学方法，使得学生在自己回家练习的时候失去了参考，尤其在家练习时不能马上得到指导和改正。大大降低了钢琴学习者学习的乐趣。

在钢琴练习过程中，为指引用户能够准确弹奏曲子，包括正确的指法和音符、为判断用户指法和音符是否准确，需要一种用于钢琴练习智能辅助方法。

发明内容

本发明提供一种钢琴练习智能辅助方法、装置及介质，旨在至少解决现有技术中存在的技术问题之一。

第一方面，本发明实施例提供一种钢琴练习智能辅助方法，包括：将第一演奏视频逐帧分解成第一琴键图像，并对所述图像进行预处理，其中预处理包括标注琴键区域范围；根据所述第一琴键图像的时间信息，确定按下琴键的位置信息，将所述第一琴键图像输入到预设的手势识别模型，预测手势识别关节点，输出手指坐标，若手指坐标在琴键的位置范围内，则关联手指与琴键，得到第一对应关系；将第二演奏视频逐帧分解成第二琴键图像，并对所述图像进行预处理，其中预处理包括标注琴键区域范围；根据所述第二琴键图像的时间信息，确定按下琴键的位置信息，将所述第二琴键图像输入到预设的手势识别模型，预测手势识别关节点，输出手指坐标，若手指坐标在琴键的位置范围内，则关联手指与琴键，得到第二对应关系；将第一对应关系与第二对应关系输入深度学习模型，输出弹奏成绩；镭射光线投射到琴键上提示弹奏位置和指法信息。

可选的，所述的一种钢琴练习智能辅助方法，图像预处理还包括：将所述图像中琴键的大小进行归一化。

可选的，所述的一种钢琴练习智能辅助方法，标注琴键区域范围包括，将琴键图像坐标系变换到像素坐标系，基于像素坐标确定每个琴键的区域范围。

可选的，所述的一种钢琴练习智能辅助方法，确定按下琴键的位置信息包括，每张图像对应视频一个时刻，通过时间关联琴键被触发后的产生的信息，从而关联被按下的琴键的坐标信息。

可选的，所述一种钢琴练习智能辅助方法，其中，基于真实数据集，微调训练后的手势识别模型；

可选的，所述一种钢琴练习智能辅助方法，其中，手指坐标在琴键的位置范围内包括，读取被按下琴键的区域范围和手指坐标，两者进行实时的对比，若手指的位置处于被按下琴键的区域范围内，则判定此琴键被该手指按下。

可选的，所述一种钢琴练习智能辅助方法，其中，手部关键点的预测包括，将识别出的手势预测框图像传入到高分辨率网络作为主干神经网络，采用卷积、反卷积模块来生成多分辨率和高分辨率的独热图，对手势识别关节点的预测，输出手指坐标。

可选的，所述一种钢琴练习智能辅助方法，其中，演奏视频是一个片段，对视频分解的过程中，选定对应片段的时间点。