[发明专利]基于变分数阶随机梯度下降法的BP神经网络优化方法

说明书

本发明公开了一种基于变分数阶随机梯度下降法的BP神经网络优化方法，包括以下步骤：步骤一、初始化神经网络拓扑结构：步骤二、初始化模型参数：步骤三、前向传播：步骤三、前向传播：步骤五、反向传播：步骤六、变分数阶随机梯度下降，步骤七、判断是否满足结束条件。本发明充分利用了迭代积分下限和截断高阶项的分数阶微分在不同阶数下的优点收敛特性，在初始训练时使用较高的分数阶阶次，提高学习速度，随着训练的进行，阶次迅速降低，在靠近极值点时会有更稳定的收敛过程，提高了BP神经网络在图像处理中训练数据集的学习速度和精确度。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于变分数阶随机梯度下降法的BP神经网络优化方法。

背景技术

分数阶微积分被人称为21世纪的数学，近年来，随着计算机技术的飞速发展，许多分数阶微积分的数学和计算工具也相继提出，分数阶微积分已成功应用于科学和工程领域，其基本理论、数值计算及其在物理、材料、图像处理、系统建模与控制中的应用得到了越来越多研究者们的充分重视。

随着计算机性能的飞速提升，神经网络成为了数据分析与逻辑回归的强有力工具，被广泛的应用到了图像处理当中。在BP神经网络中，机器从图像数据集中学习，能够自动找出最适合的解决问题方法，对图像进行分类、分割、目标检测等。

分数阶微分在神经网络中已有应用，但是使用固定的分数阶微分的神经网络进行图像处理时学习速度和精确度不可兼得，在阶数大于1时，即高阶情况下初始收敛速度较快，但在靠近极值点时容易发生震荡，影响收敛速度和精度。在阶数小于1时，即低阶情况下初始收敛速度较慢，容易发生震荡收敛，但在靠近极值点时趋于稳定收敛，所以有较高的收敛精度，所以现有的方法中不能充分利用不同阶数下的收敛性能。

为此，本发明提出了一种基于变分数阶随机梯度下降法的BP神经网络优化方法，解决了分数阶收敛速度和收敛精度的不可兼得的矛盾，提高了BP神经网络在图像处理中训练数据集的学习速度和精确度。

发明内容

本发明的目的是提供一种基于变分数阶随机梯度下降法的BP神经网络优化方法，能够使分数阶微分的神经网络进行图像处理时，充分发挥不同阶次下的优点收敛特性。

本发明采用的技术方案为：

基于变分数阶随机梯度下降法的BP神经网络优化方法，该方法包括以下步骤：

步骤一、初始化神经网络拓扑结构：

定义全连接BP神经网络的层数为L，L包括输入层、隐藏层和输出层的总数，然后分别定义各层的节点数数量，完成神经网络拓扑结构的构造；

步骤二、初始化模型参数：

初始化学习速率η、迭代次数k、最小训练批量n、变阶参数ε和极小正数ξ，使用随机初始化对权重W和偏置B进行赋值；

步骤三、前向传播：

使用W^ι、B^l表示第l层到第(l+1)层的权重数组和偏置数组，Z^l表示第l层输入的加权和数组，激活函数使用Sigmoid函数，那么第l层的输出为：

输入要训练的数据，使用公式(1)计算出第一层除外的每一层的加权和Z^l、激活值A^l；

步骤三、前向传播：在一定范围内，当阶数越大时收敛速度就越快，越接近于1时收敛精度就越高，故可设计如下连续变阶公式为：

其中0ε1,k为训练时的迭代次数,明显分数阶阶次α初始时大于1，很快就能收敛到小于1的值；

步骤五、反向传播：