[发明专利]一种基于音频交互的钢琴陪练方法及系统

说明书

本发明公开了一种基于音频交互的钢琴陪练方法，所述方法包括：获取用户当前的演奏音频数据并进行格式转换，得到演奏曲谱数据；将所述演奏曲谱数据与参考曲谱数据进行比对，生成用于表征用户当前演奏情况的当前比对结果；基于所述当前比对结果和历史比对结果，确定纠错内容和后续演奏计划并生成提示信息，并通过语音对用户进行提示。本发明还公开了一种基于音频交互的钢琴陪练系统。本发明通过音频和用户交互，不依赖于任何屏幕设备，即可实现对用户演奏数据的分析，并能通过语音方式对用户进行演奏提示。

技术领域

本发明涉及钢琴技术领域，具体而言，涉及一种基于音频交互的钢琴陪练方法及系统。

背景技术

在钢琴陪练系统的相关技术中，一般是通过手机或平板安装智能APP，通过APP来对演奏的琴声进行识别以判断用户的演奏错误，根据演奏错误来纠正和练习。APP和用户交互的界面以手机或平板的屏幕为主，通过屏幕显示电子曲谱，把演奏错误的地方标记在电子曲谱上。这种方式依赖于电子屏幕的交互，长时间使用会损伤用户的眼睛，且无法应用到没有屏幕的设备上，使得使用场景受到限制。

发明内容

为解决上述问题，本发明的目的在于提供一种基于音频交互的钢琴陪练方法及系统，通过音频和用户交互，无需屏幕交互即可实现对用户演奏数据的处理，并能通过语音实现对用户的演奏提示。

本发明提供了一种基于音频交互的钢琴陪练方法，所述方法包括：

获取用户当前的演奏音频数据并进行格式转换，得到演奏曲谱数据；

将所述演奏曲谱数据与参考曲谱数据进行比对，生成用于表征用户当前演奏情况的当前比对结果；

基于所述当前比对结果和历史比对结果，确定纠错内容和后续演奏计划并生成对应的演奏提示信息，并通过语音对用户进行提示，以使用户在当前演奏过程和/或后续演奏过程中进行相应的调整。

作为本发明进一步的改进，所述获取用户的演奏音频数据并进行格式转换，得到演奏曲谱数据，包括：

获取用户的演奏音频数据；

将所述演奏音频数据进行快速傅里叶变换，转换成频谱数据，其中，所述频谱数据包括多帧数据，每帧数据根据预设帧长度划分；

通过深度神经网络对所述频谱数据进行处理，得到多个琴键的概率数据，其中，每个琴键包括多帧概率，每一帧概率为0～1的数，用于表征琴键是否被按下；

将所述多个琴键的概率数据转换成预设格式数据，得到演奏曲谱数据。

作为本发明进一步的改进，对每个琴键的概率数据，在第一帧概率大于或等于预设概率时，该琴键视为被按下，否则该琴键视为被抬起。

作为本发明进一步的改进，所述深度神经网络采用CNN LSTM网络模型，

所述通过深度神经网络对所述频谱数据进行处理，得到多个琴键的概率数据，包括：

对每个琴键，通过CNN网络对该琴键对应的频谱数据进行特征提取，所述CNN网络的输出提供给LSTM网络作为输入，通过所述LSTM网络预测得到该琴键的概率数据；

通过所述CNN网络向所述LSTM网络输入多个琴键对应的频谱数据所提取出的特征，所述LSTM网络输出所述多个琴键的概率数据，其中，每个琴键的概率数据为一个概率序列。

作为本发明进一步的改进，曲谱库中包括多首参考曲谱，对每首参考曲谱，参考曲谱数据包括按照预设分片长度分片的多个参考分片，所述多个参考分片包括多个左手参考分片、多个右手参考分片和多个双手参考分片，其中，所述多个左手参考分片用于表征参考曲谱左手演奏部分的多个片段，所述多个右手参考分片用于表征参考曲谱右手演奏部分的多个片段，所述多个双手参考分片用于表征参考曲谱双手演奏部分的多个片段，