[发明专利]基于线性判别分析准则的改进卷积神经网络性能的方法

权利要求书

1.基于线性判别分析准则的改进卷积神经网络性能的方法，其特征在于，包括以下步骤：

1)将待处理图像集划分为训练集、验证集和测试集；

2)选择一个卷积神经网络模型；

3)选定步骤2)中的卷积神经网络模型的第k层，对选定层的特征做基于线性判别分析准则的正则约束，形成了一个新的卷积神经网络模型；具体方法如下：

对选定的步骤2)中的卷积神经网络模型的第k层做基于线性判别分析准则的正则约束，即使得特征的类内距离逐渐变小，类间距离逐渐变大；

线性判别分析准则为其中，Trace(·)表示矩阵的迹，

其中，h_i表示样本X_i的第k层特征的简写，C是类别总数，n_c和π_c分别表示mini-batch中属于第c类的样本个数和第c类的下标标号的集合，m_c表示第c类的样本的第k层特征的平均值，m表示mini-batch的所有样本的第k层特征的平均值，

对选定层的特征做基于线性判别分析准则的正则约束，形成一个新的卷积神经网络模型的目标函数为：

其中，为新的卷积神经网络模型的分类损失函数，为第k层特征的线性判别分析准则，λ为大于零的权重系数，X_i表示原始的输入数据，即原始图像；c_i∈{1,2,…,C}是相应的类别标签，即W表示选定的卷积神经网络模型的全部参数；

4)按照基于mini-batch的随机梯度下降方法，利用训练集来训练新的卷积神经网络模型，新的卷积神经网络模型训练好之后，利用训练好的卷积神经网络模型对待分类图像测试，完成分类预测。

2.根据权利要求1所述的基于线性判别分析准则的改进卷积神经网络性能的方法，其特征在于，步骤2)中，设选定的卷积神经网络模型共有M层，给定一个mini-batch的训练样本n为一个mini-batch的大小；X_i表示原始的输入数据，即原始图像；c_i∈{1,2,…,C}是相应的类别标签，C是类别总数，选定的卷积神经网络模型的目标函数如下：

其中，W＝(W⁽¹⁾,…,W^(M)；b⁽¹⁾,…,b^(M))，即W表示选定的卷积神经网络模型的全部参数，W^(m)表示选定的卷积神经网络模型第m层的权重参数，b^(m)表示选定的卷积神经网络模型第m层的偏置参数，l(W,X_i,c_i)表示样本X_i的损失函数。

3.根据权利要求2所述的基于线性判别分析准则的改进卷积神经网络性能的方法，其特征在于，步骤2)中，选定的卷积神经网络模型的每一层的特征的递归表示如下：

Y^(m)＝X^(m-1)*W^(m),X⁽⁰⁾＝X,

X^(m)＝f(Y^(m)+b^(m)),m＝1,2,…,M,

其中，X^(m)表示选定的卷积神经网络模型第m层的特征，*表示卷积运算，Y^(m)表示选定的卷积神经网络模型第m层的没有经过激活函数的响应，f(·)表示非线性激活函数。

4.根据权利要求3所述的基于线性判别分析准则的改进卷积神经网络性能的方法，其特征在于，步骤3)中，选定步骤2)中的卷积神经网络模型的高层，即靠近输出的层。