[发明专利]一种基于CNN--Bi-LSTM网络的钢琴转录方法

说明书

本发明公开了一种基于CNN‑‑Bi‑LSTM网络的钢琴转录方法，该方法一共分为三步：（1）数据预处理：对获取的钢琴音频信号进行降噪预处理，得到纯净音频；（2）特征提取:对音频特征提取分别采用CQT与MFCC，对比两者处理效果，使用一种CQT+MFCC特征融合方法对音频进行处理；（3）音符识别：设计基于CNN‑‑Bi‑LSTM网络引入注意力模型的钢琴转录算法。本发明在于针对钢琴转录提出了一个基于CNN‑‑Bi‑LSTM神经网络模型，并引入了注意力机制，成功提高了音符识别的准确率。

技术领域

本发明属于多音调音符转录领域，是一种基于CNN--Bi-LSTM网络的钢琴转录方法，可应用于钢琴转录。

背景技术

音乐是日常生活中最常见的艺术表现形式，既能够作为一种载体，表达人们的思想感情，极大的满足人们的精神文化需求；同时，其作为人们休闲娱乐的主要方式，也充实了人们的业余生活。目前，大部分音乐主要是以音频的格式存在(如wav，mp3)，极少数以曲谱的形式呈现，这非常不利于音乐家们对音乐的进一步研究，如果能够实时的将音频转换为曲谱，这将极大的方便作曲家对音乐的进一步改善；同时，大多数音乐是以名字的形式存在，在不知到歌曲名的情况下，很难检索到需要的歌曲，如果能够将歌曲转换成曲谱，那么便可以通过片段的音乐去检索完整或相似的歌曲，从而极大的减少标注的成本。因此，音乐自动转录(AutomaticMusic Transcription，AMT)都有着巨大的经济需求和应用前景。

AMT，是音乐信息处理中一个具有挑战性的问题，相关研究可以追溯到1977年，几十年来，大批的学者在该领域做出了卓越的贡献。目前，可以根据音乐中同一时间存在的音调数量分为两大类：一种是单音调自动转录(Monophonic Music Transcription，MMT)，这种AMT的音乐中同一时间只会存在一个音符，由于该类型任务较简单，现在已经可以比较完美的解决了；另一种是多音调自动转录(Polyphonic Music Transcription，PMT)，这种AMT的音乐中会出现在同一时间存在多个音符，由于并行的音符在时间域上相互重叠，同时在频域上又会因为谐波而互相影响，造成多音调音乐信号十分复杂，难以分析，故多音调自动转录问题仍然具有严峻的挑战。基于AMT算法的研究的理论意义和应用价值，为了进一步提升AMT算法的多音调识别效果，也是为了完善AMT算法对于音符结束时间的检测，本发明针对最常用的乐器之一，也是多音调乐器的代表——钢琴，进行了钢琴的多音调转录算法研究。

发明内容

1、本发明的目的

本发明的目的在于针对钢琴音乐提出一种基于CNN--Bi-LSTM网络的钢琴转录研究模型。即输入一段钢琴音频信号，对其进行降噪预处理，得到纯净音频，提取特征并进行融合，使得特征参数能够完整精确的表示音频信息。将得到特征参数送入所构建的神经网络模块进行音符的起始与结束检测，最后输出结果。

2、本发明所采用的技术方案

为实现上述目的，本发明采用的技术方案为一种基于CNN--Bi-LSTM网络的钢琴转录方法，该方法一共分为三步：

(1)数据预处理：本发明选用纯净的钢琴音频(MAPS)数据集，将含噪声的琴音频进行降噪预处理，再将纯净的钢琴音频与噪音进行对比。

本发明采用DRNN神经网络对音频进行降噪处理，DRNN降噪模型有三层隐含层，可以通过增加隐含层数，提升每次迭代中带噪信号向纯净信号的逼近速度。只在中间一个隐含层上加入连接层，减少训练过程中，需要纯净信号Y^～以及输出信号Y。输出信号与纯净信号之间的损失函数L可以用两者矢量差平方的均值来衡量，其中L＝1/N(Y-Y^～)，若L大于预设值，则对权重等参数关于L求偏导，计算新的参数并进行正向传递，直到L小于预设值训练结束。