[发明专利]模糊神经网络BP训练过程中的步长优化方法

说明书

技术领域

本发明涉及模糊神经网络BP训练过程中的步长优化方法，属于优化算法领域。

背景技术

模糊神经网络是模糊系统同神经网络相结合的产物，作为模糊系统，能够很好地描述不确定信 息或定性的知识，能充分利用已有的知识来设计系统结构和配置初始值，且现在已能直接从检测数据中提 取模糊规则来初始化参数；作为神经网络，能利用BP算法进行自学习，并已证明能以很好的精度逼近期 望的模型。因此被广泛应用于智能控制与软测量建模等多个方面。

然而，标准的BP算法收敛速度通常较慢，其原因有几方面。首先，标准算法的计算代价过大， 需要对每一个样本进行计算后才能调整参数，实践中随机梯度下降法(SGD)是解决这一问题的主要方法 ^[9]，每次迭代中仅根据小部分训练样本对模型参数进行调整，由于减小了每次参数调整的计算代价，当样 本信息高度冗余时能得到很快的收敛速度；其次，标准算法仅考虑了一阶导数信息，仅能得到小范围内的 最速下降方向但并不能确保方向一定最优，通常利用二阶导数信息，如高斯-牛顿法、柯西-牛顿法，能找 到更加合理的参数调整方向并得到更高的训练效率，但是这些类方法需要存储和处理Hessian矩阵，因此 不适用于训练大型模型；除此之外，步长的选择也是影响BP算法收敛速度的关键因素，步长选择过大会 使训练过程发生振荡甚至不收敛，选择过小则会使训练收敛缓慢。

本发明在批量梯度下降(BGD)的基础上，提出了一种步长优化的BP算法。在每次迭代中先 使用反向传播算法计算代价函数的梯度；然后沿着梯度方向计算代价函数关于步长的二阶导数；最后利用 一阶、二阶导数信息估计最优步长并进行参数调整。所提方法一方面免去了步长选择问题；另一方面，由 于利用了二阶导数信息，能提高每次参数调整的效率。

发明内容

针对于模糊神经网络BP算法训练缓慢且步长难以选择，训练过程缓慢且不稳定的问题，本发 明提供一种步长优化方法。

在每次迭代中先使用反向传播算法计算代价函数的梯度；然后沿着梯度方向计算代价函数关于 步长的二阶导数；最后利用一阶、二阶导数信息估计最优步长并进行参数调整。

本发明的目的是通过以下技术方案实现的：

模糊神经网络BP训练过程中的步长优化方法，所述方法包括以下过程：首先使用反向传播算 法计算代价函数的梯度。

然后沿着梯度方向计算代价函数关于步长的二阶导数，最后利用一阶、二阶导数信息估计最优 步长并进行参数调整。

附图说明

图1是Mamdani模型的模糊神经网络；

图2是情况1下的步长估计示意图；

图3是情况2下的步长估计示意图；

图4是步长优化的BP算法流程图；

图5是数值仿真效果对比；

具体实施方式

图1是基于Mamdani模型的模糊神经网络结构示意图

模型参数的训练步骤如下：

步骤1：构造基于Mamdani模型的模糊神经网络，模型描述如下：

第一层：将精确集合上的输入变量X＝[x₁,…,x_n]传入模糊神经网络。

该层节点数N₁＝n(输入变量的维数)

第二层：用m_i个语言变量来描述精确变量x_i，并输出x_i隶属于语言变量的隶属度其 中i＝1,2…n；l_i＝1,2…m_i。

该层节点数(语言变量总数量)，涉及模型参数变量和(语言变量的中心位置和宽 度)。

第三层：计算模糊规则库中规则R_j对输入变量X的适用度z^j(j＝1,2…m；j_i＝1,2…m_i)。规 则R_j的形式如下：

then f is B^j

其中f是模型的精确输出量，B^j是描述f的语言变量。用乘法推理机计算R_j的适用度

该层节点数N₃＝m(规则库中的规则数量)。

第四层：归一化计算

该层节点数N₄＝m。

第五层：解模糊计算，利用中心平均解模糊器得出模型的精确输出