[发明专利]一种基于多个分类器的卷积神经网络分类方法

说明书

本发明公开了一种基于多个分类器的卷积神经网络分类方法，该方法在除最后一个之外的卷积层后分别添加一个激活函数和线性分类器。在训练网络时，先获取卷积层的图像特征，使用交叉熵损失函数训练该卷积层后的分类器。训练完成后，调节激活函数，使分类准确率达到最佳。在进行图像分类任务时，前向传播过程会依次激活每一层的分类器，分类器对卷积后的图像特征进行计算分析，得出一个判别值，该判别值若符合激活函数的激活要求，就直接将分类器的分类结果输出，结束分类过程。反之，前向传播激活下一卷积层继续进行分类任务。该方法可以将易分类的图像提前进行分类而结束网络前向传播过程，从而提升网络分类速度，节省分类时间，具有良好的实用价值。

技术领域

本发明属于深度学习中卷积神经网络的图像分类领域。通过对卷积神经网络进行结构改进，提升网络分类速度，节省图像分类时间。

背景技术

卷积神经网络(CNN)是一种具代表性的深度学习方法，被广泛高效的应用于计算机视觉问题的研究。这主要得益于其对高维数据特征的优秀学习能力。近年来，随着相关学习技术、优化技术和硬件技术的出现,卷积神经网络取得了爆发式的发展。ImageNet大规模视觉识别挑战(ImageNet Large Scale Visual Recognition Challenge,ILSVRC)是工人的大规模目标识别标准挑战。近年来，卷积神经网络在ImageNet下属的分类比赛中获得了广泛的应用，并取得优异的分类结果。从8层网络AlexNet，到19层网络的VGGNet，到152层网络的ResNet，分类top-5错误率从15.3％降低到6.8％、3.57％，卷积神经网络的深度不断加深，同时分类错误率也不断降低。

但是，随着卷积神经网络的深度的加深，其前向传播所需要的时间能量消耗也在急剧增加。在同样的数据集和实验条件中执行分类任务时，VGGNet所需要的运行时间是AlexNet的20倍。在工业和商业使用场景下，工程师和开发人员通常需要考虑时间成本。比如线上搜索引擎需要快速响应，云服务需要具备每秒处理成千上万用户图片的能力。另外，智能手机和便携设备通常不具备强力的计算能力，这些设备上的如场景识别等应用也需要快速响应。

发明内容

本发明通过对卷积神经网络的结构进行改进，设计一个包含多个分类器的卷积神经网络CNN-MC(Convolution Neural Network–Multiple Classifiers)。策略为，在卷积层添加额外的线性分类器，在进行图像分类任务时，监控(使用激活模块，该模块主要包含一个置信值δ)各个分类器的输出，通过激活函数判断分类是否提前结束，以达到缩短分类时间的目的。。

为解决以上技术中的难题，本发明采用的技术方案为一种基于多个分类器的卷积神经网络快速分类方法，对卷积神经网络的结构进行改进。卷积神经网络包含输入层(input layer)、卷积层(convolution layer)、全连接层(full connection layer)和分类输出层(classification layer)，其中卷积层为多个，并各有一个池化层(poolinglayer)。该方法包含两个设计方案，即网络训练方法和网络分类方法。

网络训练方法包括确定额外分类器的数目，同时对所有分类器进行训练。

S1.多分类器卷积神经网络(CNN-MC)以标准的卷积神经网络(CNN)为基础改进而来，因此，在构造CNN-MC时，首先需要构造一个标准的卷积神经网络，该卷积神经网络包含一个输入层，若干个卷积层，和一个全连接层，每个卷积层后都有一个池化层，全连接层后是分类器。

S2.标准的CNN构造完成后，使用训练数据集D_train(如MNIST数据集、CIFAR-10数据集等)和反向传播算法训练网络，损失函数为普遍使用的交叉熵损失函数。由于本方法的目的在于节省分类时间，因此，训练CNN时需要采集单个样本经过完整CNN网络所需要的平均时间。