[发明专利]一种卷积神经网络构建方法

说明书

本发明公开了一种卷积神经网络构建方法，属于神经网络技术领域。其在卷积神经网络前向传递时，在每个原始卷积核上，通过手调核与原始卷积核的点乘，实现对原始卷积核的调制，得到调制卷积核，并用该调制卷积核代替原始卷积核进行神经网络的前向传递，以达到特征增强的效果。本发明方法对神经网络做出了极大优化，使得网络所须学习的核总量减少，此外，通过调制产生子卷积核对原始网络结构中冗余学习的核通过进行编排，还能够达到模型压缩的目的。

技术领域

本发明涉及图像识别、人工智能及神经网络技术领域，特别是指一种卷积神经网络构建方法。

背景技术

近些年来，随着超大规模分类数据集合和并行计算工具GPU的出现，深度卷积神经网络(deep convolution neural networks,DCNNs)在计算机视觉领域快读发展，并获得了学术界的广泛关注。这种端到端的网络通过大量数据训练样本驱动训练，借助随机梯度下降等优化算法自主学习模型参数，能够非常有效地抽象出原始图片的高级特征，在目标识别、检测、分割等计算机视觉任务中取得了突破性的进展。

DCNNs性能的提高依赖于训练数据的扩展以及复杂的模型结构，然而现实生活中的许多实际问题，通常却只有小规模数据的支持，直接利用目标任务的小规模的训练数据，很难获得高性能的DCNN。与神经网络不同，传统的机器学习算法通过手调特征来进行特征提取和分类，较为重要的手调特征包括方向梯度直方图(Histogram of OrientedGradient,HOG)、尺度不变特征变换(Scale-invariant feature transform,SIFT)、Gabor变换等。基于特征提取的DCNNs是完全基于数据驱动的技术，而手调特征编码特征的过程则不需要进行学习，因此也不依赖大规模的训练数据集。此外，传统的DCNNs在训练过程中通常存在冗余学习的卷积核，当神经网络的层数增加时，网络的数据会迅速增加，所以训练好后，保存的模型也会非常占存储空间。

可见，现有技术中的深度卷积神经网络存在训练样本量大、耗费存储空间的问题。

发明内容

有鉴于此，本发明提出一种卷积神经网络构建方法，该方法能够实现对神经网络的优化，在不降低神经网络性能的同时实现特征优化和模型压缩。

基于上述目的，本发明提供的技术方案是：

一种卷积神经网络构建方法，用于构建图像识别卷积神经网络，所述图像识别卷积神经网络包括顺次连接的输入层、四个加入手工调制核的卷积层、第一最大池化层、全连接层、Dropout层和输出层；其中，输入层对输入的图片进行扩展，得到多通道的输入；每个卷积层中，先进行卷积，而后再对数据进行归一化，然后输入第二最大池化层，最后将池化结果输入到激活层，如此一个卷积层结束；第四个卷积层没有第二最大池化层，第四个卷积层的输出输入到第一最大池化层中；在训练时，每次迭代的训练过程中，通过反传计算更新所有卷积层和全连接层的权值以进行迭代，直到训练完成；整个卷积神经网络的构建包括以下过程：

(1)利用手调核对一组本体核进行调制，生成调制核；所述本体核为三维卷积核，其维度为N×W×W，其中N为通道数，W为卷积核的尺寸；所述手调核由N个W×W大小的手工核组成；所述调制核的维度为N×N×W×W；

(2)进行调制核的前向卷积，生成输出特征图；

(3)输入一个图像矩阵到调制核卷积层中，并依次经过第一最大池化层、全连接层、Dropout层的处理，得到最终的输出特征图；

(4)进行卷积神经网络模型的梯度反传，反传过程中，在每个原始卷积核上，通过手调核与原始卷积核的点乘，实现对原始卷积核的调制，得到调制卷积核，并用该调制卷积核代替原始卷积核进行神经网络的前向传递，以达到特征增强的效果。

可选的，所述手调核为学习出来的手调核，在卷积神经网络的反传过程中，也对手调核进行更新，使其进行自学习，由此得到调制效果较好的手工核。