[发明专利]基于自适应L-BFGS算法的深度神经网络的批量学习方法

权利要求书

1.一种基于自适应L-BFGS算法的深度神经网络的批量学习方法，应用于图像识别系统，其特征在于，包括：

S1.根据手写数字图片数据集构建合适的深度神经网络模型，并将模型中所有可调参数即权值和偏置组成的向量初始化为，设置最大迭代次数为，记忆尺度的个数为；

S2.创建包括若干图片样本的数据集，所述数据集中包括训练集和测试集，从训练集中随机选取小批量图片样本输入到深度神经网络中，根据网络结构逐层计算各神经元的输出，最后得到输出层所有神经元的输出，记为向量；

在步骤S2中，所述深度神经网络模型为5层卷积神经网络CNN模型，其包括：

第一层卷积层，包括6个卷积核，图片样本输入后生成6个24*24的特征图；

第二池化层，采用窗口大小为2*2，并采用平均池化，6个24*24的特征图输入后生成6个12*12的特征图；

第三层卷积层，包括8个卷积核，kernel size=5*5*6，步长为1，无填充，6个12*12的特征图输入后生成8个8*8的特征图；

第四层池化层，采用窗口大小为2*2，采用平均池化，8个8*8的特征图输入后生成8个4*4的特征图；

第五层输出层，手写数字分为0到9这10个类别，第五层输出层神经元个数为10，其与第四层池化层采用全连接方式连接，并且采用Softmax函数使每个神经元输出对应类别的概率，取概率最大的类别作为最终的分类结果，即向量；

S3.根据所选的小批量图片样本的标签和S2中得到的输出计算损失函数值，在第次训练时，通过反向传播公式计算出损失函数的梯度，并计算相应的和；其中，；

S4.根据指数平滑法预测当前迭代的记忆尺度值；其中，表示前一时刻所选K个记忆尺度的平均值，表示前一时刻预测的记忆尺度值，；

S5.根据公式，调整候选区间的上界；其中，，，是预先设定的一个常量，是前一时刻候选区间的上界；

S6.利用多步拟牛顿公式，计算和更新最近组向量对；

S7.令，根据公式计算；其中，，是由向量对计算得到的拟牛顿矩阵；

S8.将得到的从小到大排序，选出前K个值所对应的记忆尺度，并根据这K个记忆尺度计算出K个方向；计算记忆尺度的平均值和平均方向；

S9.将平均方向作为当前迭代时刻的搜索方向，采用强Wolfe线搜计算出步长即学习率后，对网络参数进行更新；若随着迭代次数的增加，损失函数loss的值下降得很慢趋于平稳即网络收敛，并且迭代次数达到设定的最大迭代次数，则训练结束，得到最终训练好的深度神经网络；否则，令，转S2继续训练；

S10、将测试集输入最终训练好的深度神经网络，得到测试集图片识别结果。

2.如权利要求1所述的基于自适应L-BFGS算法的深度神经网络的批量学习方法，其特征在于，所述是深度神经网络训练中的交叉熵函数或者均方误差函数。

3.如权利要求1所述的基于自适应L-BFGS算法的深度神经网络的批量学习方法，其特征在于，在步骤S1中，所述神经网络模型由输入层，隐含层和输出层组成；输入层和输出层神经元个数是固定的；每一层中的神经元接收前一层神经元的输出，并输出到下一层，最终得到神经网络的输出；对于全连接前馈神经网络，假设第层神经元个数为，则第层神经元的净输入为，层神经元的输出为；其中，是第层到第层的权重矩阵，是第层到第层的偏置，表示第层神经元的激活函数。

4.如权利要求1所述的基于自适应L-BFGS算法的深度神经网络的批量学习方法，其特征在于，在步骤S2中，需将获取的数据集划分为训练集和测试集，并归一化使取值范围在0到1之间，归一化公式如下：

其中，表示样本数据中最小值，为最大值；然后将训练集数据随机排序并打包，即分为多批的样本包，每次迭代只选择其中的一个样本包输入到神经网络中，并且每次选择的样本包不一样；接着利用前向传播计算各层神经元的输出。