[发明专利]基于线性判别分析准则的改进卷积神经网络性能的方法

说明书

本发明公开了一种基于线性判别分析准则的改进卷积神经网络性能的方法，属于深度学习卷积神经网络领域、脑认知领域和计算机视觉图像分类领域，包括以下步骤：1)将待处理图像集划分为训练集、验证集和测试集；2)选择一个卷积神经网络模型；3)选定步骤2)中的卷积神经网络模型的一个层，对选定层的特征做基于线性判别分析准则的正则约束，形成了一个新的卷积神经网络模型；4)按照基于mini‑batch的随机梯度下降方法，利用训练集来训练新的卷积神经网络模型，新的卷积神经网络模型训练好之后，利用训练好的卷积神经网络模型对待分类图像测试，完成分类预测。实验结果表明：本发明能够显著地提高卷积神经网络图像分类的精度。

技术领域：

本发明涉及深度学习卷积神经网络领域、脑认知领域和计算机视觉图像分类领域，具体涉及改进卷积神经网络性能的方法，提高卷积神经网络图像分类性能的方法。

背景技术：

当前深度卷积神经网络，已经广泛应用到计算机视觉的各个领域，例如，图像分类、目标检测和定位以及图像检索等等。一直以来，提高卷积网络图像分类性能的方法可以大致分为两种：一种是增加网络结构的规模，即增加网络的层数和每一层的节点的数目；另一种是使用更大规模的训练集。

增加网络结构的规模将会大大增加计算量，给硬件计算设备带来很大的计算负担。现实中，计算资源也是有限的，连续增加两个相邻的卷基层特征图的个数，会导致相应计算量呈平方规模的增加。而且网络规模增大到一定定程度的时候，其性能会逐渐趋于饱和。同时，由于网络规模越大，要通过训练学习的参数就越多，过多的模型参数容易导致过拟合，(所谓过拟合，就是在训练集上分类错误率较低，而在测试集上的分类错误率较高)。

构建大规模的训练标注数据集也是一件很困难的事情，不见耗费大量的时间、人力和财力，而且构建高质量的数据集往往还需要相关的专业知识。最近的一些实验还表明，卷积神经网络的性能随着训练集增大也逐渐趋于饱和，也就是说，当训练集到一定规模时候，再增加训练集，网络性能的提升微乎其微，提升的幅度已经很小。鉴于以上两种情况，最近一些学者也试图对卷积神经网络的结构做了一些小的修改，但这些小的技巧都是基于实验驱动的，是通过大量的实验总结出来的一些技巧，缺乏理论的分析和支持，当然也很难系统地提升网络性能。

发明内容：

本发明的目的在于针对现有技术的不足，提供了一种基于线性判别分析准则的改进卷积神经网络性能的训练方法。

为了达到上述目的，本发明采用如下技术方案予以实现的：

基于线性判别分析准则的改进卷积神经网络性能的方法，包括以下步骤：

1)将待处理图像集划分为训练集、验证集和测试集；

2)选择一个卷积神经网络模型；

3)选定步骤2)中的卷积神经网络模型的第k层，对选定层的特征做基于线性判别分析准则的正则约束，形成了一个新的卷积神经网络模型；

4)按照基于mini-batch的随机梯度下降方法，利用训练集来训练新的卷积神经网络模型，新的卷积神经网络模型训练好之后，利用训练好的卷积神经网络模型对待分类图像测试，完成分类预测。

本发明进一步的改进在于，步骤2)中，设选定的卷积神经网络模型共有M层，给定一个mini-batch的训练样本n为一个mini-batch的大小；X_i表示原始的输入数据，即原始图像；c_i∈{1,2,…,C}是相应的类别标签，C是类别总数，选定的卷积神经网络模型的目标函数如下：