[发明专利]一种基于音频交互的钢琴陪练方法及系统

权利要求书

1.一种基于音频交互的钢琴陪练方法，其特征在于，所述方法包括：

获取用户当前的演奏音频数据并进行格式转换，得到演奏曲谱数据；

将所述演奏曲谱数据与参考曲谱数据进行比对，生成用于表征用户当前演奏情况的当前比对结果；

基于所述当前比对结果和历史比对结果，确定纠错内容和后续演奏计划并生成对应的演奏提示信息，并通过语音对用户进行提示，以使用户在当前演奏过程和/或后续演奏过程中进行相应的调整。

2.如权利要求1所述的方法，其中，所述获取当前用户的演奏音频数据并进行格式转换，得到演奏曲谱数据，包括：

获取用户的演奏音频数据；

将所述演奏音频数据进行快速傅里叶变换，转换成频谱数据，其中，所述频谱数据包括多帧数据，每帧数据根据预设帧长度划分；

通过深度神经网络对所述频谱数据进行处理，得到多个琴键的概率数据，其中，每个琴键包括多帧概率，每一帧概率为0～1的数，用于表征琴键是否被按下；

将所述多个琴键的概率数据转换成预设格式数据，得到演奏曲谱数据。

3.如权利要求2所述的方法，其中，对每个琴键的概率数据，在第一帧概率大于或等于预设概率时，该琴键视为被按下，否则该琴键视为被抬起。

4.如权利要求2所述的方法，其中，所述深度神经网络采用CNN LSTM网络模型，

所述通过深度神经网络对所述频谱数据进行处理，得到多个琴键的概率数据，包括：

对每个琴键，通过CNN网络对该琴键对应的频谱数据进行特征提取，所述CNN网络的输出提供给LSTM网络作为输入，通过所述LSTM网络预测得到该琴键的概率数据；

通过所述CNN网络向所述LSTM网络输入多个琴键对应的频谱数据所提取出的特征，所述LSTM网络输出所述多个琴键的概率数据，其中，每个琴键的概率数据为一个概率序列。

5.如权利要求1所述的方法，其中，曲谱库中包括多首参考曲谱，对每首参考曲谱，参考曲谱数据包括按照预设分片长度分片的多个参考分片，所述多个参考分片包括多个左手参考分片、多个右手参考分片和多个双手参考分片，其中，所述多个左手参考分片用于表征参考曲谱左手演奏部分的多个片段，所述多个右手参考分片用于表征参考曲谱右手演奏部分的多个片段，所述多个双手参考分片用于表征参考曲谱双手演奏部分的多个片段，

所述将所述演奏曲谱数据与参考曲谱数据进行比对，生成用于表征用户当前演奏情况的当前比对结果，包括：

提取所述演奏曲谱数据的多个分片，并将所述多个分片与所述曲谱库中的各个参考分片进行匹配，以从所述曲谱库中确定所述演奏曲谱数据对应的目标曲谱；

将所述演奏曲谱数据的每个演奏音符和所述目标曲谱的每个参考音符做对齐处理，以建立所述演奏曲谱数据的各个演奏音符和所述目标曲谱的各个参考音符的对应关系；

提取所述演奏曲谱数据中每个分片对应的演奏信息，并与所述目标曲谱中对应位置处的参考分片所对应的参考信息进行比对，生成用于表征用户当前演奏情况的当前比对结果。

6.如权利要求5所述的方法，其中，所述提取所述演奏曲谱数据的多个分片，并将所述多个分片与所述曲谱库中的各个参考分片进行匹配，以从所述曲谱库中确定所述演奏曲谱数据对应的目标曲谱，包括：

对所述演奏曲谱数据按照预设分片长度进行分片，得到多个分片，并提取每个分片的特征值，其中，所述多个分片包括多个左手分片、多个右手分片和多个双手分片；

在所述曲谱库中寻找与所述多个分片对应匹配的多个参考分片，并将参考分片匹配次数最多的参考曲谱作为所述目标曲谱。