[发明专利]基于卷积神经网络和频谱图的说话人识别方法

摘要

本发明公开了基于卷积神经网络和频谱图的说话人识别方法，依次包括以下步骤首先，采集每一位说话人音频信号；然后，将音频信号转换成频谱图；其次，将图片作为输入层，经过AlexNet训练这个神经网络；再次使用反向传播算法逐层调整神经网络各层的权值和偏置；最后得到神经网络参数，对说话人进行分类。该方法从卷积神经网络的处理方法来快速的识别说话人。

主权项

基于卷积神经网络和频谱图的说话人识别方法，其特征在于：基于卷积神经网络的说话人识别包括两个阶段：语音信号转频域阶段：为了体现信号随时间的频谱情况，采用短时傅里叶变换处理；短时傅里叶变换又称为滑动窗傅里叶变换，就是用一个短的窗函数和信号滑动相乘，对每一个窗函数截取区间的数据进行傅里叶变换：其中w(k,τ)是一个长度为N的窗函数，X(w,τ)是一个二维函数，表示中心点位于τ的加窗声音的傅里叶变换，通过上述公式将声音信号转换为对应的某种灰度级的点来表征，这就是信号处理中的语谱图；首先得到该语音信号的采样频率16kHZ以及傅立叶函数点数1024，再设计该语音信号的窗长1024，步长512加窗重叠点数512，通过Matlab短时傅立叶变换，最后通过log取对数，绘制频谱图；深度学习识别阶段：得到绘制的频谱图以后，把频谱图按照4:1的比例分为训练数据集和测试数据集；分好数据集后，将数据集的图片生成caffe框架所需要的数据格式LEVELDB形式的数据，为提高模型的准确率，又生成了均值文件放入训练数据中，下一步设计网络结构，在原有AlexNet的基础上增加dropout以及BatchNormalization来提高识别正确率；根据设计好的网络模型，训练神经网络来识别说话人；在卷积神经网络中，卷积层的每一个卷积核作用于整个图像中，对输入图像进行卷积操作；卷积结果构成了输入图像的特征图，提取出图像的局部特征；每一个卷积滤波器共享相同的参数，包括相同的权重矩阵和偏置项；神经网络的结构中也有降采样层，降采样层是一种非线性降采样方法；考虑到卷积层输出的特征图仍然包含大量数据，若直接训练，则很难训练出一个有效的分类器；通过降采样操作，将特征数据大大减少，并且其对旋转、尺度和缩放具有不变性，同时还减少了计算的复杂度；降采样方法是一种高效的降低数据维度的采样方法；在图像识别中，降采样的操作分为两类：最大值和平均值；降采样模板取2×2，即取2X2大小图像块的四个像素值中的最大值或平均值为降采样后的像素值；经过降采样后，图像的大小变为原来的1/4，将其存于其他片块最大值的矩阵中，并放弃激活映射图中所在的其他信息；仅保留图像中与各特征相关性最大的位置，这些最大值一起构成了较低维度的空间，达到了降维的作用；减少模型参数，防止过拟合，提高模型的平移不变形；能够更好的训练这个模型。