[发明专利]一种基于稀疏自动编码器和灰度关联分析法的卷积神经网络算法优化方法

说明书

技术领域

本发明涉及一种基于稀疏自动编码器和灰度关联分析法的卷积神经网络算法优化方法，属于计算机仿真技术领域。

背景技术

近年来，深度学习的发展使得机器学习取得了很多重要突破。其中，卷积神经网络(CNN)在图像处理等方面的研究成果十分瞩目。它不但可以像人类视觉系统一样逐层提取得到图像的深层特征，提高网络的识别率；而且它提取到的特征具有较强的平移不变性，解决了由于图像变换引起的特征提取不准确的问题。由于存在很多优点，目前卷积神经网络在虹膜识别、人脸识别、图像识别、语音识别等许多方面有着广泛的应用。对于卷积神经网络的优化研究就变得越来越重要。

在前人的研究中，Lee等人使用分层生成模型改进卷积神经网络来处理高维图像，大大提高了准确率；Alex等在处理图像识别问题时，构建了一种大型深层卷积神经网络，经测试发现，识别率得到了明显提高。目前提出的很多改进算法都取得了不错的识别效果，但是对训练数据量的要求仍然较大，如果数据量较小就会导致卷积神经网络前几层得不到充分训练。为了解决这一问题，权值的初始化操作就是一个改进方向。

发明内容

针对现有方法的不足，本发明提供了一种基于稀疏自动编码器和灰度关联分析法的卷积神经网络算法优化方法，通过引入了稀疏自动编码器和灰度关联分析法对传统的卷积神经网络进行了优化，提高了系统的识别精度。

本发明的技术方案是：一种基于稀疏自动编码器和灰度关联分析法的卷积神经网络算法优化方法，首先通过稀疏自动编码器对输入图像进行无监督预训练，得到一组反映原始输入图像特性的卷积核初值集合；然后利用这一组卷积核初值对原始输入图像进行卷积、池化操作；引入灰度关联分析法计算出最后一次池化后的子采样层的特征图与对应的输出结果之间的关联度，设定阈值，去除关联性较小的特征图数据，使得系统可以自动选择对识别结果影响较大的隐藏特征图。

所述卷积、池化操作能为多次。

所述卷积、池化操作为两次，具体步骤如下：

Step1、导入训练集与测试集，设定CNN的初始网络结构并对网络参数进行初始化；

Step2、利用稀疏自动编码器预训练，得到CNN网络的第一层卷积层所对应的卷积核的初始参数；

Step3、通过式(1)计算得到第一层卷积层的特征图；

其中，为第l+1层第i单元输出的激活值，f函数为激活函数，p为第l+1层的维数，为l层第i单元与l+1层第j单元之间的权值，x⁽ⁱ⁾为第i个输入，为l+1层第i单元的偏置；

Step4、对第一层卷积层进行池化操作，得到第一层子采样层的特征图；

Step5、重复Step3，对Step4得到的第一层子采样层特征图进行卷积操作，得到第二层卷积层特征图；重复Step4，对第二层卷积层特征图进行池化操作，得到第二层子采样层特征图；

Step6、将第二层子采样层所有的特征图展开成列向量，采用全连接的方式，经过分类器得到每个特征图对应的识别结果；

Step7、提取第二层子采样层的特征图数据，并将每个特征图对应的识别结果作为灰度关联分析法的比较序列，对应的真实标签作为参考序列，计算各特征图与识别结果的关联度，保留关联度大于阈值的特征图，舍弃小于等于阈值的特征图；得到优化后的CNN网络结构；

Step8、在优化后的CNN网络结构下，重复步骤Step2、3、4、5、6，直到算法收敛，或者达到最大迭代次数。

所述激活函数采用的是sigmoid函数。

所述测试集对训练过的网络进行测试，计算出误差率。

本发明的有益效果是：

1、通过稀疏自动编码器对输入图像进行无监督预训练，得到一组能够较好得反映原始输入图像特性的滤波器初值集合。实验数据显示，卷积核初始权值的设定降低了初始均方误差；将这组滤波器集合作为CNN的C1层卷积核，能有效降低网络的误识率。

2、为了更好得确定隐藏特征图的个数，算法引入灰度关联分析法计算出特征图与对应的输出结果之间的关联度，设定阈值，去除关联性较小的特征图数据，使得系统可以自动选择对识别结果影响较大的隐藏特征图，从而对网络结构进行优化，提高系统的识别精度。

附图说明

图1为卷积神经网络结构图；

图2为稀疏自动编码器结构图；

图3为本发明的算法流程图；

图4为稀疏自动编码器训练后的滤波器集合；