[发明专利]一种琴键识别方法、装置、电子设备及存储介质

说明书

本发明实施例公开一种琴键识别方法、装置、电子设备及存储介质，涉及音乐教育技术领域，能够便捷有效的进行琴键识别。所述方法包括：采集目标乐器的第一键盘图像，其中，所述目标乐器的键盘上设置有黑键和白键；将所述第一键盘图像输入预设的图像识别模型，以确定所述第一键盘图像中各黑键的轮廓；根据所述黑键的轮廓以及相邻黑键的间距，确定所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓。本发明可用于音乐教育领域。

技术领域

本发明涉及计算机技术领域，尤其涉及一种琴键识别方法、装置、电子设备及存储介质。

背景技术

在钢琴教育领域中，为了监控用户弹奏是否准确、指法是否正确，常常需要对钢琴琴键进行检测。

目前传统钢琴琴键检测方案，很多是基于光电传感器和多路单片机技术，但该检测方案具有如下缺点：占用琴键空间，影响弹奏；结构固定不稳定，易产生噪声，干扰琴声；装置外置，影响美观；结构复杂；电路复杂，成本高等。

此外，还有一些钢琴琴键检测方案是在摄像头视野里绘制好固定的钢琴琴键位置，然后演奏者本人进行摄像头调整，确保钢琴琴键本身的位置跟摄像头视野里绘制的位置能一一对应上；或者在钢琴琴键上贴上对应的标签，通过调整摄像头视野中标签与钢琴琴键标签对齐的方式来实现琴键检测，或通过检测琴键上的标签来实现钢琴琴键检测。然而，这样不但会耗费演奏者宝贵的时间来进行摄像头调整，也会影响钢琴本身原有的美观。

对于如何便捷有效地进行琴键识别，相关领域尚无有效的解决方案。

发明内容

有鉴于此，本发明实施例提供一种琴键识别方法、装置、电子设备及存储介质，能够便捷有效地进行琴键识别。

第一方面，本发明实施例提供一种琴键识别方法，包括：采集目标乐器的第一键盘图像，其中，所述目标乐器的键盘上设置有黑键和白键；将所述第一键盘图像输入预设的图像识别模型，以确定所述第一键盘图像中各黑键的轮廓；根据所述黑键的轮廓以及相邻黑键的间距，确定所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓。

可选的，所述采集目标乐器的第一键盘图像包括：通过设置在所述目标乐器上方的摄像头，采集所述目标乐器的键盘中预设区域的第一键盘图像，其中，所述摄像头的光轴与所述键盘所在平面成预设角度。

可选的，所述根据所述黑键的轮廓以及相邻黑键的间距，确定所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓包括：根据所述第一键盘图像中相邻黑键的间距，对各黑键进行分组，每组黑键属于同一个八度音；根据所述黑键的分组情况以及组内相邻黑键的间距，确定每组黑键对应的各白键的轮廓。

可选的，所述根据所述黑键的轮廓以及相邻黑键的间距，确定所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓之后，所述方法还包括：通过摄像头检测用户手指在所述目标乐器的键盘上的按下位置；根据所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓，识别所述按下位置对应的琴键。

可选的，所述识别所述按下位置对应的琴键之后，所述方法还包括：根据所述按下位置对应的琴键，以及按下所述琴键的时刻所对应的音高识别结果，评估所述用户弹奏的准确性。

可选的，在所述将所述第一键盘图像输入预设的图像识别模型，以确定所述第一键盘图像中各黑键的轮廓之前，所述方法还包括：获取所述目标乐器的多幅第二键盘图像，其中，所述第二键盘图像中的黑键的轮廓被标注出；利用所述第二键盘图像进行深度学习模型训练，得到所述图像识别模型。

可选的，所述获取所述目标乐器的多幅第二键盘图像包括：通过设置在所述目标乐器上方的摄像头，对所述目标乐器的键盘录制预设时长的视频片段，在视频录制过程中，所述摄像头在预设角度范围内偏转，以使所述摄像头的视野在所述目标乐器的键盘上移动；从所述视频片段中选择至少一部分图像帧作为所述第二键盘图像。