[发明专利]乐谱识别方法、装置、设备及存储介质

权利要求书

1.一种乐谱识别方法，其特征在于，所述乐谱识别方法包括：

获取待识别手写乐谱图像；

根据预设尺寸，对所述待识别手写乐谱图像进行调整，并基于调整后的手写乐谱图像提取待识别图像集；

将所述待识别图像集输入预置的特征提取模型进行特征提取，得到所述待识别图像集的乐谱特征矩阵；

将所述乐谱特征矩阵输入预置的特征识别模型中进行识别，得到初始识别结果矩阵；

调用损失函数对所述初始识别结果矩阵进行优化，得到手写乐谱识别结果。

2.根据权利要求1所述的乐谱识别方法，其特征在于，所述根据预设尺寸，对所述待识别手写乐谱图像进行调整，并基于调整后的手写乐谱图像提取待识别图像集包括：

根据所述待识别手写乐谱图像中的内容位置，将所述待识别手写乐谱图像分割成多个切分图像片；

在保持所述切分图像片的长宽比例不变的前提下，将所述多个切分图像片中每个切分图像片像素高度调整为预设像素高度，得到多个调整图像片；

将所述调整图像片按原顺序进行排列，得到待识别图像集。

3.根据权利要求2所述的乐谱识别方法，其特征在于，所述特征提取模型包括卷积层和池化层，所述将所述待识别图像集输入预置的特征提取模型进行特征提取，得到所述待识别图像集的乐谱特征矩阵包括：

将所述待识别图像集输入至所述卷积层进行乐谱特征提取，得到乐谱特征图像集；

将乐谱特征图像集输入至所述池化层进行池化操作，将所述乐谱特征图像集中的手写乐谱图像按所述预设尺寸输出，得到所述待识别图像集的乐谱特征矩阵。

4.根据权利要求3所述的乐谱识别方法，其特征在于，所述特征识别模型包括双向长短期记忆网络层和密集层，所述将所述乐谱特征矩阵输入预置的特征识别模型中进行识别，得到初始识别结果矩阵包括：

将所述乐谱特征矩阵输入至所述双向长短期记忆网络层中进行节奏和音调的识别，得到节奏输出矩阵和音调输出矩阵；

将所述节奏输出矩阵和音调输出矩阵输入至所述密集层进行合成，得到初始识别结果矩阵。

5.根据权利要求4所述的乐谱识别方法，其特征在于，所述将所述乐谱特征矩阵输入至所述双向长短期记忆网络层中进行节奏和音调的识别，得到节奏输出矩阵和音调输出矩阵包括：

调用所述双向长短期记忆网络层对所述乐谱特征矩阵进行前向识别，得到前向识别结果，其中，所述前向识别结果包括前向节奏识别矩阵和前向音调识别矩阵；

调用双向长短期记忆网络对所述乐谱特征矩阵进行后向识别，得到后向识别结果，其中，所述后向识别结果包括后向节奏识别矩阵和后向音调识别矩阵；

将所述前向节奏识别矩阵和所述后向节奏识别矩阵进行合成，得到节奏输出矩阵；

将所述前向音调识别矩阵和所述后向音调识别矩阵进行合成，得到音调输出矩阵。

6.根据权利要求1-5中任一项所述的乐谱识别方法，其特征在于，在所述将所述待识别图像集输入预置的特征提取模型进行特征提取，得到所述待识别图像集的乐谱特征矩阵之前，还包括：

收集若干手写乐谱图像，对所述手写乐谱图像中包含的乐谱信息进行标记，得到标记手写乐谱图像；

将所述标记手写乐谱图像进行随机模糊、扭曲形变处理，得到处理标记手写乐谱图像，并基于所述处理手写乐谱图像确定手写乐谱图像样本集；

根据所述手写乐谱图像样本集对所述卷积神经网络进行训练，得到特征提取模型。

7.根据权利要求6所述的乐谱识别方法，其特征在于，在所述将所述乐谱特征矩阵输入预置的特征识别模型中进行识别，得到初始识别结果矩阵之前，还包括；

获取所述手写乐谱图像样本集；

调用所述特征提取模型对所述手写乐谱图像样本集进行特征提取，得到手写乐谱特征样本集；

根据所述手写乐谱特征样本集对特征识别算法进行训练，得到特征识别模型。