[发明专利]一种基于DCNN联合特征表示的音乐推荐方法

权利要求书

1.一种基于DCNN联合特征表示的音乐推荐方法，其特征在于，包括：

音乐预处理和增强：用于处理原始音乐数据，以及增强音乐音频用来进行特征的提取；

音乐特征建模模块：在音乐音频预处理和增强后，通过FFT、Mel滤波器生成声谱图、音频谱图和Log梅尔谱图，以及提取MFCC、频谱质心音频特征，用于模型训练的初始样本，然后结合DCNN、CNN进行建模，分别得到基于Log梅尔谱图的DCNN模型和基于MFCC的CNN模型，并对其进行训练；

推荐方法模块：音乐特征建模模块和推荐方法模块是双向连接，进行两端训练； 将训练得到的低维特征向量进行组合拼接，再进行下一步工作并推荐音乐，上述模块具体包括以下步骤：

S1.音乐格式转换：将原始音乐数据进行格式转换，统一格式为MP3，并对每首音乐按照“类别-ID”的形式进行标识；

S2.音乐音频的增强：由于原始音乐数据可能会存在噪声或音质受损的情况，因此需要对其进行增强，降噪主要利用滤波器，在降噪过程中，尽可能不损伤原始的音乐音频信号，回声消除利用NLMS算法实现，音频的采样率调整利用SoX处理；

S3.声谱图和音频谱图：主要包括音频进行FFT生成声谱图、Log梅尔谱图； 音乐音频信号经过预加重、分帧加窗和FFT获得音频声谱图，在输入到梅尔滤波器组中，进一步得到梅尔谱图，最后进行对数运算得到Log梅尔谱图，用于第一通道的模型输入；

S4.音频特征的提取，使用librosa库进行音乐片段的MFCC特征的提取，保存为文件，作为第二通道的输入数据；

其中，在步骤S3中采用1024的窗口大小，相邻窗距为512，窗函数使用α＝0.46的汉宁窗，梅尔滤波器数量为128，以及以10为底的对数运算； 在步骤S1、S2和S3中使用Log梅尔谱图作为第一通道的DCNN网络模型的输入，经过多轮训练，不断减小音乐特征真值与预测值之间的交叉熵误差，直至达到最佳的训练目的，最终得到回归预测模型，即基于Log梅尔谱图的DCNN模型；

上述第一通道的DCNN加入了批量归一化层，同时采用ReLu激活函数和Adam优化方法，由4个卷积层和4个池化层交替出现，以及1个全连接组成；

然后，在步骤S4中将其得到的音乐元数据进行特征统计处理，使其适合网络的输入要求，训练并调整其权重参数，最终得到MFCC-CNN模型； 该模型采用简单的网络结构，即卷积层、池化层均为一维的两层的，且全连接层比基于Log梅尔谱图的DCNN多了一层；

最后，将第一通道和第二通道的结果组合在一起，进入全连接层和softmax层，softmax公式如下：再结合CB算法原理，实现满足用户偏好的音乐TopN推荐。